DE112017001926T5 - Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren - Google Patents

Abstract

Ein Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert Tiefenverteilungsmerkmalsinformationen gemäß dem Pixelwert und dem Tiefenwert eines Pixels in einem Randbereich in Bezug auf ein interessierendes Pixel eines Eingangsbildes. Ein Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild betrachtet die Pixelposition eines interessierenden Pixels in einem vorherigen Bild, das ein früheres Bild als das Eingangsführungsbild ist, als ein entsprechendes Pixel und generiert Tiefenverteilungsmerkmalsinformationen gemäß dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert eines Pixels in einem Randbereich des vorherigen Bildes in Bezug auf das entsprechende Pixel. Ein Zusammenfügungssteuerabschnitt 25 stellt ein Zusammenfügungsverhältnis gemäß der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel ein. Ein Tiefenwerteinstellabschnitt 26 fügt die Tiefenverteilungsmerkmalsinformationen, die vom Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert worden sind, mit den Tiefenverteilungsmerkmalsinformationen, die durch den

Description

• [Technisches Erfindungsgebiet]
• Die vorliegende Technologie bezieht sich auf eine Bildverarbeitungseinrichtung und ein Bildverarbeitungsverfahren und verbessert die raumzeitliche Stabilität eines Tiefenbildes.
• [Allgemeiner Stand der Technik]
• In den vergangenen Jahren ist ein Tiefenbild, das dazu angepasst ist, die Distanz zu einem Objekt auszudrücken, unter Verwendung eines Bildes generiert und zum Beispiel für eine Gesten-Nutzerschnittstelle verwendet worden. Des Weiteren wird das Tiefenbild zum Beispiel generiert, indem Abgleichen mit einem Bild für das linke Auge und einem Bild für das rechte Auge durchgeführt wird, wie zum Beispiel in der PTL 1 offenbart wird.
• Des Weiteren ist ein Vorschlag auf dem Gebiet der Bildverarbeitung gemacht worden, um verbesserte raumzeitliche Stabilität bereitzustellen. Zum Beispiel stellt eine in der PTL 2 offenbarte Erfindung Bewegungskompensation gemäß räumlichen Informationen in Bezug auf ein Referenzbild mit räumlicher Korrelation zu einem Eingangsbild bereit und generiert ein interpoliertes Ausgangsbild. Außerdem generiert die in der PTL 2 offenbarte Erfindung ein nicht verrauschtes Bild, indem das Eingangsbild mit dem interpolierten Ausgangsbild gemäß einer Rückkopplungseinstellungsgröße gemischt wird, die auf der Basis von zeitlichen Richtungsänderungen im Referenzbild berechnet wird.
• [Zitierungsliste]
• [Patentschriften]
• [PTL 1] JP 2012-244396A
• [PTL 2] JP 2013-059016A
• [Zusammenfassung]
• [Technisches Problem]
• Wenn die Verarbeitung so durchgeführt wird, wie in der PTL 2 beschrieben wird, wird übrigens ein Tiefenwert, zum Beispiel in einem Grenzbereich zwischen einem Vordergrund und einem Hintergrund, gemittelt. Somit unterscheidet sich der resultierende Tiefenwert im Grenzbereich von denen im Vordergrund und im Hintergrund. Folglich kann die raumzeitliche Stabilität nicht verbessert werden.
• Angesichts der oben genannten Umstände ist ein Ziel der vorliegenden Technologie, eine Bildverarbeitungseinrichtung und ein Bildverarbeitungsverfahren bereitzustellen, die in der Lage sind, die raumzeitliche Stabilität eines Tiefenbildes zu verbessern.
• [Lösung des Problems]
• Gemäß einem ersten Aspekt der vorliegenden Technologie wird eine Bildverarbeitungseinrichtung bereitgestellt, die einen Tiefenwertverarbeitungsabschnitt aufweist. Der Tiefenwertverarbeitungsabschnitt fügt Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammen, um zusammengefügte Tiefenverteilungsmerkmalsinformationen zu generieren, berechnet einen repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen und betrachtet den berechneten repräsentativen Tiefenwert als einen Tiefenwert eines interessierenden Pixels eines Eingangsbildes. Die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes basieren auf dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf das interessierende Pixel eines Eingangsbildes. Die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes basieren auf dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf ein Pixel, das der Pixelposition des interessierenden Pixels in einem vorherigen Bild entspricht. Das vorherige Bild ist ein früheres Bild als das Eingangsbild.
• Gemäß dem Pixelwert und dem Tiefenwert der Pixel im Randbereich in Bezug auf das interessierende Pixel im Eingangsbild verknüpft ein Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild gemäß der vorliegenden Technologie einen Tiefenwert mit einer Gewichtung, die der Pixelinformationsähnlichkeit zwischen dem interessierenden Pixel und zum Beispiel jedem Pixel im Randbereich entspricht, und generiert ein Tiefenhistogramm oder eine Tiefentabelle als die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes. Das Tiefenhistogramm wird durch Akkumulieren der Gewichtung jedes Tiefenwerts ermittelt. Die Tiefentabelle gibt die Gewichtung jedes Tiefenwerts an.
• Gemäß dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert der Pixel im Randbereich in Bezug auf ein entsprechendes Pixel, wobei das entsprechende Pixel der Pixelposition des interessierenden Pixels im vorherigen Bild entspricht, welches ein früheres Bild als das Eingangsbild ist, verknüpft ein Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild einen Tiefenwert mit einer Gewichtung, die der Pixelinformationsähnlichkeit zwischen dem interessierenden Pixel und zum Beispiel jedem Pixel im Randbereich des vorherigen Bildes entspricht, und generiert ein Tiefenhistogramm oder eine Tiefentabelle als die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes. Das Tiefenhistogramm wird durch Akkumulieren der Gewichtung jedes Tiefenwerts ermittelt. Die Tiefentabelle gibt die Gewichtung jedes Tiefenwerts an.
• Des Weiteren erhöhen der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Gewichtung gemäß den Pixelinformationen, zum Beispiel gemäß einer Erhöhung der Luminanz- oder Farbähnlichkeit.
• Ein Zusammenfügungssteuerabschnitt stellt ein Zusammenfügungsverhältnis gemäß der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel ein. Wenn sich die Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel erhöht, erhöht der Zusammenfügungssteuerabschnitt das Zusammenfügungsverhältnis der Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild generiert worden sind.
• Der Tiefenwertverarbeitungsabschnitt generiert die zusammengefügten Tiefenverteilungsmerkmalsinformationen, indem er die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild generiert worden sind, mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes, die vom Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild generiert worden sind, im Zusammenfügungsverhältnis zusammenfügt, das vom Zusammenfügungssteuerabschnitt eingestellt worden ist. Der Tiefenwertverarbeitungsabschnitt generiert ein zusammengefügtes Tiefenhistogramm oder eine zusammengefügte Tiefentabelle durch Zusammenfügen der Tiefenhistogramme oder der Tiefentabellen unter der Annahme zum Beispiel der Gewichtungen der Tiefenhistogramme oder der Tiefentabellen als der auf dem Zusammenfügungsverhältnis basierenden Gewichtungen. Der Tiefenwertverarbeitungsabschnitt betrachtet den repräsentativen Tiefenwert, der anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen berechnet worden ist, zum Beispiel anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen, als Tiefenwertordnungsinformationen und behandelt einen Mediantiefenwert des akkumulierten Gewichtungswerts als den repräsentativen Tiefenwert. Des Weiteren berechnet der Tiefenwertverarbeitungsabschnitt das Verhältnis der Gesamtgewichtung in einem vorbestimmten Tiefenbereich, der auf dem repräsentativen Tiefenwert basiert, zur Gesamtgewichtung der zusammengefügten Tiefenverteilungsmerkmalsinformationen als die Zuverlässigkeit des repräsentativen Tiefenwerts. Falls die Zuverlässigkeit des repräsentativen Tiefenwerts gleich oder höher als ein voreingestellter Bestimmungsschwellenwert ist, betrachtet der Tiefenwertverarbeitungsabschnitt den repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels. Falls dagegen die Zuverlässigkeit geringer als der voreingestellte Bestimmungsschwellenwert ist, betrachtet der Tiefenwertverarbeitungsabschnitt den Tiefenwert des interessierenden Pixels als einen ungültigen Wert. Des Weiteren ist der Tiefenwertverarbeitungsabschnitt in der Lage, den Bestimmungsschwellenwert zu ändern.
• Außerdem generiert der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild Tiefenverteilungsmerkmalsinformationen, indem er Pixel, die einen ungültigen Wert angeben, gegenüber Pixeln im Randbereich in Bezug auf das entsprechende Pixel ausschließt. Des Weiteren kann der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes gemäß dem Pixelwert, dem Tiefenwert und der Zuverlässigkeit von Pixeln im Randbereich in Bezug auf das entsprechende Pixel und mit dem Pixelwert des interessierenden Pixels generieren.
• Des Weiteren ist ein Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung eingeschlossen, um wenigstens eines der beiden, das Eingangsbild oder das vorherige Bild, in ein Bild zu konvertieren, das sich im Betrachtungspunkt mit dem anderen Bild deckt. Der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild generieren die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes unter Verwendung der Bilder, die den gleichen Betrachtungspunkt wie ein Ergebnis der Konvertierung durch den Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung haben.
• Gemäß einem zweiten Aspekt der vorliegenden Technologie wird ein Bildverarbeitungsverfahren bereitgestellt, das Folgendes aufweist:
• Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammenzufügen, um zusammengefügte Tiefenverteilungsmerkmalsinformationen zu generieren;
• einen repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen zu berechnen; und den berechneten repräsentativen Tiefenwert als einen Tiefenwert eines interessierenden Pixels eines Eingangsbildes zu betrachten. Die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes basieren auf dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf das interessierende Pixel eines Eingangsbildes. Die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes basieren auf dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf ein Pixel, das der Pixelposition des interessierenden Pixels in einem vorherigen Bild entspricht. Das vorherige Bild ist ein früheres Bild als das Eingangsbild.
• [Vorteilhafte Wirkungen der Erfindung]
• Die vorliegende Technologie fügt die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammen, um die zusammengefügten Tiefenverteilungsmerkmalsinformationen zu generieren, berechnet den repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen und betrachtet den berechneten repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels. Die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes basieren auf dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf das interessierende Pixel eines Eingangsbildes. Die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes basieren auf dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf ein Pixel, das der Pixelposition des interessierenden Pixels in einem vorherigen Bild entspricht. Das vorherige Bild ist ein früheres Bild als das Eingangsbild. Folglich wird ein höchst zuverlässiger Tiefenwert als der Tiefenwert eines interessierenden Bildes gemäß den Pixelinformationen und dem Tiefenwert eines Pixels in einer raumzeitlichen Richtung in Bezug auf das interessierende Bild betrachtet. Dies ermöglicht es, die raumzeitliche Stabilität eines Tiefenbildes zu verbessern. Die in diesem Dokument beschriebenen Vorteile sind lediglich veranschaulichend und nicht restriktiv. Die vorliegende Technologie kann zusätzliche Vorteile bereitstellen.
• Figurenliste
• 1 ist eine grafische Darstellung, die eine Anordnung eines Tiefenbild-Generierungssystems veranschaulicht.
• 2 ist eine grafische Darstellung, die eine Anordnung einer ersten Ausführungsform veranschaulicht.
• 3 zeigt grafische Darstellungen, die eine Gewichtungsberechnungsoperation veranschaulichen, die unter Verwendung eines Eingangsführungsbildes durchgeführt wird.
• 4 zeigt grafische Darstellungen, die eine Gewichtungsberechnungsoperation veranschaulichen, die unter Verwendung eines vorherigen Führungsbildes durchgeführt wird.
• 5 ist eine grafische Darstellung, die eine Beziehung zwischen einer Differenzmenge und einem Zusammenfügungsverhältnis veranschaulicht.
• 6 ist eine grafische Darstellung, die ein zusammengefügtes Tiefenhistogramm veranschaulicht.
• 7 ist ein Flussdiagramm, das Operationen der ersten Ausführungsform veranschaulicht.
• 8 zeigt schematische Darstellungen, die die durch eine Bildverarbeitungseinrichtung bereitgestellten Vorteile veranschaulichen.
• 9A bis 9C sind grafische Darstellungen, die Operationen eines Verteilungsmerkmalsinformationsgenerierungsabschnitts für das vorherige Bild veranschaulichen.
• 10 zeigt grafische Darstellungen, die Operationen eines Tiefenwertverarbeitungsabschnitts veranschaulichen.
• 11 ist eine grafische Darstellung, die eine Anordnung einer dritten Ausführungsform veranschaulicht.
• 12 ist eine grafische Darstellung, die eine Anordnung einer vierten Ausführungsform veranschaulicht.
• 13 zeigt grafische Darstellungen, die eine Betrachtungspunktkonvertierung veranschaulichen.
• 14 ist ein Flussdiagramm, das eine Betrachtungspunktkonvertierungsoperation veranschaulicht.
• 15 ist eine grafische Darstellung, die die Bewegungen eines Betrachtungspunkts und eines Vordergrundobjekts veranschaulicht.
• 16 ist eine grafische Darstellung, die Operationen der vierten Ausführungsform veranschaulicht.
• [Beschreibung von Ausführungsformen]
• Jetzt werden Ausführungsformen der vorliegenden Technologie beschrieben. Die Beschreibung erfolgt in der folgenden Reihenfolge.
1. 1. Anordnung des Tiefenbild-Generierungssystems
2. 2. Erste Ausführungsform
3. 3. Zweite Ausführungsform
4. 4. Dritte Ausführungsform
5. 5. Vierte Ausführungsform
• <Anordnung des Tiefenbild-Generierungssystems>
• 1 veranschaulicht eine Anordnung eines Tiefenbild-Generierungssystems, das eine durch die vorliegende Technologie bereitgestellte Bildverarbeitungseinrichtung verwendet. Das Tiefenbildsystem 10 weist eine Tiefenbild-Generierungseinrichtung 15 und eine Bildverarbeitungseinrichtung 20 auf.
• Die Tiefenbild-Generierungseinrichtung 15 führt einen Abgleichprozess durch, indem sie ein Bild vom rechten Betrachtungspunkt und ein Bild vom linken Betrachtungspunkt verwendet, wählt entweder das Bild vom rechten Betrachtungspunkt oder das Bild vom linken Betrachtungspunkt als eine Referenz aus und generiert ein Tiefenbild (das auch als Tiefenkarte bezeichnet wird), das die Distanz (den Tiefenwert) zwischen einem Objekt und dem Referenz-Betrachtungspunktbild (das auch als das „Führungsbild“ bezeichnet wird) angibt. Es sei angemerkt, dass die 1 einen Fall veranschaulicht, in dem das Bild vom rechten Betrachtungspunkt als das Führungsbild ausgewählt wird. Der Abgleichprozess kann unter Verwendung irgendeiner Abgleichtechnik durchgeführt werden, wie zum Beispiel einer bereichsbasierten Abgleichtechnik, einer merkmalsbasierten Abgleichtechnik oder einer Vorlagenabgleichtechnik. Die Tiefenbild-Generierungseinrichtung 15 führt den Abgleichprozess durch, um die Distanz (den Tiefenwert) zwischen dem Objekt und einem interessierenden Pixel im Bild vom rechten Betrachtungspunkt gemäß der Größe der Abweichung zwischen dem interessierenden Pixel im Bild vom rechten Betrachtungspunkt (Führungsbild) und einer entsprechenden Pixelposition im Bild vom linken Betrachtungspunkt zu berechnen. Des Weiteren bewegt die Tiefenbild-Generierungseinrichtung 15 die Pixelposition des interessierenden Pixels im Bild vom rechten Betrachtungspunkt sequentiell, führt den Abgleichprozess durch und generiert ein Tiefenbild, das einen Tiefenwert angibt, der an jeder Pixelposition berechnet worden ist, oder Pixelinformationen (z. B. die Luminanz) auf Basis des Tiefenwerts. Die Tiefenbild-Generierungseinrichtung 15 gibt das generierte Tiefenbild an die Bildverarbeitungseinrichtung 20 aus.
• Die Bildverarbeitungseinrichtung 20 generiert Tiefenverteilungsmerkmalsinformationen gemäß dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf das interessierende Pixel in einem Eingangsbild. Des Weiteren generiert die Bildverarbeitungseinrichtung 20 die Tiefenverteilungsmerkmalsinformationen gemäß dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich des vorherigen Bildes in Bezug auf ein entsprechendes Pixel, wobei das entsprechende Pixel der Pixelposition des interessierenden Pixels in einem vorherigen Bild, das ein früheres Bild als das Eingangsbild ist, entspricht. Außerdem verbessert die Bildverarbeitungseinrichtung 20 die raumzeitliche Stabilität des Tiefenbildes, indem die Tiefenverteilungsmerkmalsinformationen, die anhand des Eingangsbildes generiert worden sind, mit den Tiefenverteilungsmerkmalsinformationen, die anhand des vorherigen Bildes generiert worden sind, in einem Zusammenfügungsverhältnis, das gemäß der Größe der Differenz der Pixelinformationen zwischen dem interessierenden Pixel und dem entsprechenden Pixel eingestellt worden ist, abgeglichen werden, ein repräsentativer Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen berechnet wird und der berechnete repräsentative Tiefenwert als der Tiefenwert des interessierenden Pixels betrachtet wird. Zusätzlich generiert die Bildverarbeitungseinrichtung 20 eine Zuverlässigkeitskarte, die die Tiefenwertezuverlässigkeit jedes Pixels im Tiefenbild mit verbesserter Stabilität angibt.
• <Erste Ausführungsform>
• Jetzt wird die Bildverarbeitungseinrichtung gemäß einer ersten Ausführungsform beschrieben. Die 2 veranschaulicht eine Anordnung der Bildverarbeitungseinrichtung gemäß der ersten Ausführungsform. Die Bildverarbeitungseinrichtung 20 weist einen Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild, einen Speicherabschnitt 22 für das vorherige Führungsbild, einen Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild, einen Zusammenfügungssteuerabschnitt 25, einen Tiefenwertverarbeitungsabschnitt 26 und einen Speicherabschnitt 27 für das vorherige Tiefenbild auf.
• Der Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert die Tiefenverteilungsmerkmalsinformationen (hier nachstehend als die „Tiefenverteilungsmerkmalsinformationen des Eingangsbildes“ bezeichnet) gemäß dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich (hier nachstehend als das „Pixel im Randbereich des Eingangsbildes“ bezeichnet) in Bezug auf ein interessierendes Pixel im Eingangsbild. Der Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild weist einen Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild und einen Verteilungsmerkmalsinformationsgenerierungsabschnitt 212 für das Eingangsbild auf. Der Randbereich ist ein vorbestimmter Bereich, der einen interessierenden Bereich aufweist, der auf dem interessierenden Pixel basiert. Die Pixel im Randbereich weisen das interessierende Pixel auf. Des Weiteren wird der Randbereich des Eingangsbildes (Eingangsführungsbild und Eingangstiefenbild) als der Randbereich des Eingangsbildes bezeichnet.
• Für jedes interessierende Pixel berechnet der Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild eine Gewichtung auf Basis von Pixelinformationsähnlichkeit zwischen dem interessierenden Pixel im Eingangsführungsbild und Pixeln im Randbereich des Eingangsbildes und bewirkt, dass sich die Gewichtung mit einer Erhöhung in der Pixelinformationsähnlichkeit erhöht. Zum Beispiel verwendet der Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild die Luminanz des interessierenden Pixels und die Luminanz der Pixel im Randbereich des Eingangsbildes als die Pixelinformationen, um die Gewichtung W_present (n, x, x') gemäß der Gleichung (1) zu berechnen. In der Gleichung (1) ist n die Framezahl des Eingangsführungsbildes, und I(n) ist die Luminanz des Eingangsführungsbildes. Des Weiteren ist x ein zweidimensionaler Vektor, der die Position des interessierenden Pixels angibt, und x' ist ein zweidimensionaler Vektor, der die Position eines Pixels im Randbereich des Eingangsbildes angibt (das Referenzpixel des zweidimensionalen Vektors ist zum Beispiel das obere Pixel ganz links). Des Weiteren stellt die Gleichung (1) eine Gewichtung, die auf einer Gaußschen Verteilung basiert, in Bezug auf die Luminanzdifferenz unter Verwendung eines Gaußschen Koeffizienten „σ“ ein. Es sei angemerkt, dass der Wert des Gaußschen Koeffizienten σ voreingestellt ist.
  [Formel 1] $${\text{w}}_{\text{present}}\left(\text{n}\text{,x}\text{,x'}\right)={\text{e}}^{-\frac{{\left(\text{I}\left(\text{n}\text{,x}\right)-\text{I}\left(\text{n}\text{,x'}\right)\right)}^2}{2{\mathrm{\sigma }}^2}}$$

  
• Die 3 zeigt grafische Darstellungen, die eine Gewichtungsberechnungsoperation veranschaulichen, die unter Verwendung des Eingangsführungsbildes durchgeführt wird. (a) der 3 veranschaulicht die Luminanz von interessierenden Pixeln im Eingangsführungsbild und von Pixeln im Randbereich des Eingangsbildes. (b) der 3 veranschaulicht die Beziehung zwischen Luminanzdifferenz und Gewichtung, die in der Gleichung (1) angegeben wird. Die Gewichtung erhöht sich mit einer Verringerung der Luminanzdifferenz, das heißt mit einer Erhöhung der Ähnlichkeit. Gemäß der Gleichung (1) berechnet der Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild die Gewichtung auf Basis der Luminanzdifferenz zwischen den interessierenden Pixeln im Eingangsführungsbild und den Pixeln im Randbereich des Eingangsbildes. (c) der 3 veranschaulicht die Gewichtung W_present, die für jedes Pixel im Randbereich des Eingangsbildes berechnet wird.
• Es sei angemerkt, dass der Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild nicht immer die Gewichtung unter Verwendung nur der Luminanz als Pixelinformation berechnen muss. Alternativ kann der Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild die Gewichtung unter Verwendung von Farbe, Texturform oder anderen Informationen oder unter Verwendung von zwei oder mehr Informationen berechnen.
• Für jedes interessierende Pixel verknüpft der Verteilungsmerkmalsinformationsgenerierungsabschnitt 212 für das Eingangsbild den Tiefenwert eines Pixels im Randbereich des Eingangsbildes mit der Gewichtung, die durch den Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild bestimmt wird, um die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes zu generieren. Die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes geben die Beziehung zwischen der Gewichtung und dem Tiefenwert im Randbereich des Eingangsbildes an. Zum Beispiel generiert die erste Ausführungsform ein aktuelles Tiefenhistogramm, das einen akkumulierten Gewichtungswert jedes Tiefenwerts als die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes angibt. Gemäß der Gleichung (2) generiert der Verteilungsmerkmalsinformationsgenerierungsabschnitt 212 für das Eingangsbild das aktuelle Tiefenhistogramm H_present (n, x, d). In der Gleichung (2) ist D(n, x) der Tiefenwert eines interessierenden Pixels im Eingangsführungsbild, und d (z. B. 0 ≤ d ≤ 255) ist ein ganzzahliger Wert, der den Tiefenwert angibt. Des Weiteren wird der Randbereich des Eingangsbildes, der auf dem interessierenden Pixel x basiert, durch eine lokale Fensterfunktion W(x) vorgegeben, und das aktuelle Tiefenhistogramm wird unter Verwendung der Gewichtung und des Tiefenwerts eines Pixels in einem Bereich generiert, der durch die lokale Fensterfunktion W(x) angegeben ist. Es sei angemerkt, dass der ganzzahlige Wert d, der den Tiefenwert angibt, äquivalent zu Klassen (Bins) des aktuellen Tiefenhistogramms ist. Die Gewichtungen von Randpixeln, für die der ganzzahlige Wert d gleich dem Tiefenwert ist, werden gemäß der Gleichung (3) zusammenaddiert. Der resultierende Wert wird als eine Häufigkeit in Bezug auf den ganzzahligen Wert d betrachtet.
  [Formel 2] $$H_{present}\left(n,x,d\right)={\displaystyle \sum _{\text{x'}\in \text{W}\left(x\right)}{W}_{present}\left(N,x,x\text{'}\right)}\delta \left(D\left(n,x\text{'}\right)-d\right)$$

  

  $$\delta \left(m\right)=\{\begin{array}{c}1fallsm\ne 0\\ 0fallsm\ne 0\end{array}$$

  
• Der Speicherabschnitt 22 für das vorherige Führungsbild speichert ein vorheriges Führungsbild (z. B. ein Führungsbild einen Frame früher). Das vorherige Führungsbild ist ein früheres Bild als das Eingangsführungsbild. Des Weiteren gibt der Speicherabschnitt 22 für das vorherige Führungsbild das gespeicherte vorherige Führungsbild an den Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild und den Zusammenfügungssteuerabschnitt 25 aus.
• Der Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild verwendet das Eingangsführungsbild, das vorherige Führungsbild und ein vorheriges Tiefenbild, das die Distanz zu einem Objekt im vorherigen Führungsbild angibt. Der Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild betrachtet die Pixelposition eines interessierenden Pixels im vorherigen Führungsbild, das ein früheres Bild als das Eingangsführungsbild ist. Gemäß dem Pixelwert und dem Tiefenwert eines Pixels im Randbereich des vorherigen Bildes in Bezug auf das entsprechende Pixel und mit dem Pixelwert eines interessierenden Pixels generiert der Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen (hier nachstehend als die „vorherigen Tiefenverteilungsmerkmalsinformationen“ bezeichnet). Der Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild weist einen Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild und einen Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 für das vorherige Bild auf.
• Für jedes interessierende Pixel berechnet der Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild eine Gewichtung auf Basis von Pixelinformationsähnlichkeit zwischen dem interessierenden Pixel im Eingangsführungsbild und Pixeln im Randbereich des vorherigen Bildes im vorherigen Führungsbild und bewirkt, dass sich die Gewichtung mit einer Erhöhung in der Pixelinformationsähnlichkeit erhöht. Zum Beispiel verwendet der Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild die Luminanz des interessierenden Pixels und die Luminanz der Pixel im Randbereich des vorherigen Bildes als die Pixelinformationen, um die Gewichtung W_previous (n, x, x') gemäß der Gleichung (4) zu berechnen. In der Gleichung (4) ist n die Framezahl des Eingangsführungsbildes, l(n) ist die Luminanz des Eingangsführungsbildes, n - 1 ist die Framezahl des vorherigen Führungsbildes (z. B. ein Führungsbild einen Frame früher), und l(n - 1) ist die Luminanz des vorherigen Führungsbildes. Des Weiteren ist x ein zweidimensionaler Vektor, der die Position eines interessierenden Pixels angibt, und x' ist ein zweidimensionaler Vektor, der die Position eines Pixels im Randbereich des vorherigen Bildes angibt (das Referenzpixel des zweidimensionalen Vektors ist zum Beispiel das obere Pixel ganz links). Des Weiteren stellt die Gleichung (4), ebenso wie die Gleichung (1), eine Gewichtung, die auf einer Gaußschen Verteilung basiert, in Bezug auf die Luminanzdifferenz unter Verwendung des Gaußschen Koeffizienten „σ“ ein. Es sei angemerkt, dass der Wert des Gaußschen Koeffizienten σ nicht immer gleich dem entsprechenden Wert in der Gleichung (1) sein muss. Der Gaußsche Koeffizient σ kann alternativ auf einen Wert eingestellt werden, der sich vom entsprechenden Wert in der Gleichung (1) unterscheidet. Außerdem muss der Randbereich des vorherigen Bildes in Bezug auf das interessierende Pixel nicht immer an der gleichen Position liegen oder die gleiche Bereichsgröße wie der Randbereich des Eingangsbildes haben. Zum Beispiel kann der Randbereich des vorherigen Bildes alternativ eine andere Bereichsgröße haben.
  [Formel 3] $$W_{previous}\left(n,x,x\text{'}\right)=e^{-\frac{{\left(l\left(n,x\right)-l\left(n-\mathrm{1,}x\text{'}\right)\right)}^2}{2{\sigma }^2}}$$

  
• Die 4 zeigt grafische Darstellungen, die eine Gewichtungsberechnungsoperation veranschaulichen, die unter Verwendung eines vorherigen Führungsbildes durchgeführt wird. (a) der 4 zeigt ein Führungsbild (z. B. ein Luminanzbild) des Randbereichs des vorherigen Bildes. (b) der 4 zeigt die Beziehung zwischen Luminanzdifferenz und Gewichtung, die in der Gleichung (4) angegeben wird. Die Gewichtung erhöht sich mit einer Verringerung der Luminanzdifferenz. Für jedes Pixel im Randbereich des vorherigen Bildes bestimmt der Ähnlichkeitsberechnungsabschnitt 241 des vorherigen Bildes eine Gewichtung auf Basis der Luminanzdifferenz zwischen den interessierenden Pixeln im Eingangsführungsbild und den Pixeln im Randbereich des vorherigen Bildes gemäß der Gleichung (4). (c) der 4 veranschaulicht die Gewichtung W_present, die für jedes Pixel im Randbereich des vorherigen Bildes berechnet wird.
• Es sei angemerkt, dass der Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild nicht immer die Gewichtung unter Verwendung nur der Luminanz berechnen muss, ebenso wie beim Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild. Alternativ kann der Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild die Gewichtung unter Verwendung von Farbe, Texturform oder anderen Informationen oder unter Verwendung von zwei oder mehr Informationen berechnen.
• Der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 für das vorherige Bild verknüpft den Tiefenwert eines Pixels im Randbereich des vorherigen Bildes eines vorherigen Tiefenbildes, das im Speicherabschnitt 27 für das vorherige Tiefenbild gespeichert ist, mit der Gewichtung, die durch den Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild bestimmt worden ist, um die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zu generieren. Die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes geben die Beziehung zwischen der Gewichtung und dem Tiefenwert im Randbereich des vorherigen Bildes an. Zum Beispiel generiert die erste Ausführungsform ein vorheriges Tiefenhistogramm, das den Tiefenwert eines Pixels im Randbereich des vorherigen Bildes eines vorherigen Tiefenbildes und einen akkumulierten Gewichtungswert jedes Tiefenwerts als die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes angibt. Gemäß der Gleichung (5) generiert der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 des vorherigen Bildes das vorherige Tiefenhistogramm H_previous (n, x, d). In der Gleichung (5) ist D_filtered (n - 1, x) der Tiefenwert eines Pixels an einer Position „x'“ im Randbereich des vorherigen Bildes, und d (z. B. 0 ≤ d ≤ 255) ist ein ganzzahliger Wert, der den Tiefenwert angibt. Des Weiteren wird der Randbereich des vorherigen Bildes, der auf dem interessierenden Pixel x basiert, durch die lokale Fensterfunktion W(x) vorgegeben, und das vorherige Tiefenhistogramm wird unter Verwendung der Gewichtung und des Tiefenwerts eines Pixels in einem Bereich generiert, der durch die lokale Fensterfunktion W(x) angegeben ist. Es sei angemerkt, dass der ganzzahlige Wert d, der den Tiefenwert angibt, äquivalent zu Klassen (Bins) des vorherigen Tiefenhistogramms ist. Die Gewichtungen von Randpixeln, für die der ganzzahlige Wert d gleich dem Tiefenwert ist, werden gemäß der Gleichung (6) zusammenaddiert. Der resultierende Wert wird als eine Häufigkeit in Bezug auf den ganzzahligen Wert d betrachtet.
  [Formel 4] $$H_{previous}\left(n,x,d\right)={\displaystyle \sum _{\text{x'}\in \text{W}\left(x\right)}{W}_{previous}\left(n,x,x\text{'}\right)}\delta \left(D_{filtered}\left(n-\mathrm{1,}x\text{'}\right)-d\right)$$

  

  $$\delta \left(m\right)=\{\begin{array}{c}1fallsm=0\\ 0fallsm\ne 0\end{array}$$

  
• Gemäß der Pixelinformationsdifferenz zwischen einem interessierenden Pixel im Eingangsführungsbild und einem entsprechenden Pixel, das einem interessierenden Pixel im vorherigen Führungsbild entspricht, stellt der Zusammenfügungssteuerabschnitt 25 für jedes interessierende Pixel ein Zusammenfügungsverhältnis zwischen den Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes ein. Der Zusammenfügungssteuerabschnitt 25 weist einen Differenzgrößenberechnungsabschnitt 251 und einen Zusammenfügungsverhältniseinstellabschnitt 252 auf.
• Der Differenzgrößenberechnungsabschnitt 251 berechnet die Größe der Pixelinformationsdifferenz zwischen einem interessierenden Pixel im Eingangsführungsbild und einem entsprechenden vorherigen Bild, das der Position des interessierenden Pixels entspricht, unter Verwendung des Eingangsführungsbildes und des vorherigen Führungsbildes, das im Speicherabschnitt 22 für das vorherige Führungsbild gespeichert ist. Zum Beispiel generiert der Differenzgrößenberechnungsabschnitt 251 eine Differenzgröße I_diff(n, x) anhand der Luminanz l(n, x) des interessierenden Pixels und der Luminanz (n - 1, x) des entsprechenden Pixels gemäß der Gleichung (7). Falls zum Beispiel das entsprechende Pixel ein Pixel in einem Objektbereich ist und das interessierende Pixel aufgrund der Bewegung des Objekts zu einem Pixel in einem Hintergrundbereich wird, ist die Differenzgröße I_diff(n, x) ein größerer Wert als in einem Fall, bei dem sich das Objekt nicht bewegt. Es sei angemerkt, dass der Differenzgrößenberechnungsabschnitt 251 nicht immer die Differenzgröße unter Verwendung nur der Luminanz als Pixelinformation berechnen muss. Alternativ kann der Differenzgrößenberechnungsabschnitt 251 die Differenzgröße unter Verwendung von Farbe oder anderen Informationen oder unter Verwendung von zwei oder mehr Informationen berechnen.
  [Formel 5] $${\text{I}}_{\text{diff}}\left(\text{n}\text{,x}\right)=\left|\text{I}\left(\text{n}\text{,x}\right)-\text{I}\left(\text{n}-\text{1}\text{,x}\right)\right|$$

  
• Gemäß der Differenzgröße I_diff (N, x), die vom Differenzgrößenberechnungsabschnitt 251 berechnet wird, stellt der Zusammenfügungsverhältniseinstellabschnitt 252 das Zusammenfügungsverhältnis so ein, dass sich das Verhältnis der Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert worden sind, mit einer Erhöhung der Größe der Differenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel erhöht. Zum Beispiel stellt der Zusammenfügungsverhältniseinstellabschnitt 252 das Zusammenfügungsverhältnis α(n, x) gemäß der Gleichung (8) ein. In der Gleichung (8) sind die Schwellenwerte Th0, Th1 zum Beispiel unter Berücksichtigung von Rauschen des Eingangsbildes an mehreren Betrachtungspunkten voreingestellt, so dass ein Tiefenbild erreicht wird, das in einer raumzeitlichen Richtung stabil ist. Des Weiteren ist die Beziehung zwischen der Differenzgröße I_diff(n, x), die in der Gleichung (7) ausgedrückt wird, und dem Zusammenfügungsverhältnis α(n, x) wie in der 5 gezeigt. Der Zusammenfügungsverhältniseinstellabschnitt 252 gibt das Zusammenfügungsverhältnis α(n, x), das für jedes interessierende Pixel eingestellt ist, an den Tiefenwertverarbeitungsabschnitt 26 aus. Es sei angemerkt, dass das Zusammenfügungsverhältnis auf α0 oder α1 voreingestellt ist und dass 0 ≤ α0 < α1.
  [Formel 6] $$\alpha \left(n,x\right)=\{\begin{array}{cc}{\mathrm{\alpha }}_1& {\text{falls I}}_{\text{diff}\left(\text{n}\text{,x}\right)}<\text{Th0}\\ {\mathrm{\alpha }}_1+\left({\mathrm{\alpha }}_0-{\mathrm{\alpha }}_1\right)\frac{{\text{I}}_{\text{diff}}\left(\text{n}\text{,x}\right)-\text{Th0}}{\text{Th1}-\text{Th0}}& \text{falls th0}\le {\text{I}}_{\text{diff}}\left(\text{n}\text{,x}\right)<\text{Th1}\\ {\mathrm{\alpha }}_0& \text{sonst}\end{array}$$

  
• Wie oben beschrieben wird, stellt der Zusammenfügungsverhältniseinstellabschnitt 252 das Zusammenfügungsverhältnis so ein, dass sich das Verhältnis der Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit einer Erhöhung der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel erhöht. Falls sich daher zum Beispiel das Objekt bewegt, so dass sich die Differenzgröße erhöht, kann das Verhältnis der Tiefenverteilungsmerkmalsinformationen vor der Bewegung verringert werden, um den Einfluss der Objektbewegung zu vermeiden.
• Für jedes interessierende Pixel fügt der Tiefenwertverarbeitungsabschnitt 26 im Zusammenfügungsverhältnis, das durch den Zusammenfügungssteuerabschnitt 25 eingestellt worden ist, die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert worden sind, mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes, die vom Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild generiert worden sind, zusammen. Des Weiteren betrachtet der Tiefenwertverarbeitungsabschnitt 26 einen repräsentativen Tiefenwert, der anhand der Tiefenverteilungsmerkmalsinformationen berechnet worden ist, die anhand des Zusammenfügens (hier nachstehend als die „zusammengefügten Tiefenverteilungsmerkmalsinformationen“ bezeichnet) hergeleitet worden sind, als den Tiefenwert eines interessierenden Pixels und generiert ein Ausgangstiefenbild. Der Tiefenwertverarbeitungsabschnitt 26 weist einen Informationszusammenfügungsabschnitt 261 und einen Analyseabschnitt 262 für zusammengefügte Informationen auf.
• Der Informationszusammenfügungsabschnitt 261 fügt zum Beispiel das aktuelle Tiefenhistogramm, das durch den Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert worden ist, mit dem vorherigen Tiefenhistogramm, das durch den Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild generiert worden ist, im Zusammenfügungsverhältnis α(n, x), das durch den Zusammenfügungssteuerabschnitt 25 eingestellt worden ist, zusammen. Die Gleichung (9) stellt die Zusammenfügungsverarbeitung dar. Der Informationszusammenfügungsabschnitt 261 führt Berechnungen durch, die in der Gleichung (9) angegeben sind, und generiert ein zusammengefügtes Tiefenhistogramm, das zusammengefügte Tiefenverteilungsmerkmalsinformationen ist, durch Zusammenfügen der Gewichtungen des aktuellen Tiefenhistogramms und des vorherigen Tiefenhistogramms im Zusammenfügungsverhältnis als der Gewichtung jedes Tiefenwerts.
  [Formel 7] $${\text{H}}_{\text{merged}}\left(\text{n}\text{,x}\text{,d}\right)=\mathrm{\alpha }\left(\text{n}\text{,x}\right){\text{H}}_{\text{previous}}\left(\text{n}\text{,x}\text{,d}\right)+\left(1-\mathrm{\alpha }\left(\text{n}\text{,x}\right)\right){\text{H}}_{\text{present}}\left(\text{n}\text{,x}\text{,d}\right)$$

  
• Die 6 veranschaulicht das zusammengefügte Tiefenhistogramm. Tiefenwerte werden als Klassen (Bins) betrachtet, und die Gewichtungen des aktuellen Tiefenhistogramms und des vorherigen Tiefenhistogramms werden für jede Klasse gemäß dem Zusammenfügungsverhältnis zusammenaddiert. Der resultierende Wert wird als eine Häufigkeit behandelt.
• Der Analyseabschnitt 262 für die zusammengefügten Informationen führt statistische Analyse gemäß dem zusammengefügten Tiefenhistogramm durch und berechnet den repräsentativen Tiefenwert. Des Weiteren berechnet der Analyseabschnitt 262 für die zusammengefügten Informationen die Zuverlässigkeit des repräsentativen Tiefenwerts. Falls die berechnete Zuverlässigkeit nicht geringer als ein voreingestellter Bestimmungsschwellenwert ist, betrachtet der Analyseabschnitt 262 für die zusammengefügten Informationen den repräsentativen Tiefenwert als den Tiefenwert eines interessierenden Pixels. Falls dagegen die berechnete Zuverlässigkeit geringer als der Bestimmungsschwellenwert ist, betrachtet der Analyseabschnitt 262 für die zusammengefügten Informationen den Tiefenwert des interessierenden Pixels als einen ungültigen Wert. Der Analyseabschnitt 262 für die zusammengefügten Informationen berechnet zum Beispiel einen Mediantiefenwert des zusammengefügten Tiefenhistogramms als den repräsentativen Tiefenwert. Des Weiteren berechnet der Analyseabschnitt 262 für die zusammengefügten Informationen das Verhältnis der Gesamtgewichtung eines Zuverlässigkeitsbestimmungsbereichs (vorbestimmte Klassenbreite), der auf dem repräsentativen Tiefenwert basiert, zur Gesamtgewichtung der ganzen Klassenbreite des zusammengefügten Tiefenhistogramms als die Zuverlässigkeit.
• Der Analyseabschnitt 262 für die zusammengefügten Informationen berechnet zum Beispiel den Mediantiefenwert D_median (n, x) des zusammengefügten Tiefenhistogramms H_merged(n, x) als den repräsentativen Tiefenwert. Es sei angemerkt, dass der Analyseabschnitt 262 für die zusammengefügten Informationen einen ungültigen Wert D_invalid in der Berechnung des Mediantiefenwerts D_median(n, x) ausschließt. Wie in der 6 gezeigt wird, verwendet der Analyseabschnitt 262 für die zusammengefügten Informationen die Gleichung (10), um die Gesamtgewichtung W_{sum_around_med} (n, x) des Zuverlässigkeitsbestimmungsbereichs (D_median(n, x) - D_thr) ≤ d ≤ (D_median(n, x) + D_thr) auf Basis des berechneten Mediantiefenwerts D_median(n, x) zu berechnen. Des Weiteren berechnet der Analyseabschnitt 262 für die zusammengefügten Informationen die Gesamtgewichtung W_total (n, x) der gesamten Klassenbreite gemäß der Gleichung (11).
  [Formel 8] $${\text{w}}_{\text{sum\_around\_med}}\left(\text{n}\text{,x}\right)={\displaystyle \sum _{{\text{i=D}}_{\text{median}}\left(\text{x}\right)-{\text{D}}_{\text{thr}}}^{{\text{D}}_{\text{median}}\left(\text{x}\right)+{\text{D}}_{\text{thr}}}{\text{H}}_{\text{merged}}\left(\text{n}\text{,x}\text{,i}\right)}$$

  

  $${\text{w}}_{\text{total}}\left(\text{n}\text{,x}\right)={\displaystyle \sum _{\text{i}}{\text{H}}_{\text{merged}}\left(\text{n}\text{,x}\text{,i}\right)}$$

  
• Wie in der Gleichung (12) angegeben wird, berechnet der Analyseabschnitt 262 für die zusammengefügten Informationen das Verhältnis der Gesamtgewichtung W_{sum_around_med} (n, x) des Zuverlässigkeitsbestimmungsbereichs zur Gesamtgewichtung W_total (n, x) der gesamten Klassenbreite als die Zuverlässigkeit D_confidence (n, x) .
  [Formel 9] $${\text{D}}_{\text{Confidence}}\left(\text{n}\text{,x}\right)=\frac{{\text{w}}_{\text{sum\_around\_med}}\left(\text{n}\text{,x}\right)}{{\text{w}}_{\text{total}}\left(\text{n}\text{,x}\right)}$$

  
• Des Weiteren führt der Analyseabschnitt 262 für die zusammengefügten Informationen einen in der Gleichung (13) angegebenen Prozess unter Verwendung eines voreingestellten Bestimmungsschwellenwerts Th_{histo_ratio} durch, bestimmt den Mediantiefenwert D_median (n, x), der anzeigt, dass die Zuverlässigkeit D_confidence (n, x) nicht geringer als der Bestimmungsschwellenwert Th_{histo_ratio} ist, und betrachtet den bestimmten Mediantiefenwert D_median(n, x) als den Tiefenwert D_filtered(n, x) eines interessierenden Pixels. Falls die Zuverlässigkeit D_confidence (n, x) geringer als der Bestimmungsschwellenwert Th_{histo_ratio} ist, betrachtet der Analyseabschnitt 262 für die zusammengefügten Informationen den Tiefenwert D_filtered(n, x) des interessierenden Pixels als einen ungültigen Wert D_invalid. Es sei angemerkt, dass der ungültige Wert D_invalid von dem durch ein Tiefenbild angegebenen Tiefenwert unterscheidbar ist.
  [Formel 10] $$D_{filtered}\left(n,x\right)=\{\begin{array}{cc}{D}_{median}\left(n,x\right)& falls{D}_{confidence}\left(x\right)\ge T{h}_{histo\_ratio}\\ & D_{invalid}sonst\end{array}$$

  
• Des Weiteren ist der Analyseabschnitt 262 für die zusammengefügten Informationen in der Lage, den Bestimmungsschwellenwert Th_{histo_ratio} zu ändern. Falls zum Beispiel ein höchst zuverlässiges Ausgangstiefenbild generiert werden soll, erhöht der Analyseabschnitt 262 für die zusammengefügten Informationen den Bestimmungsschwellenwert Th_{histo_ratio} und betrachtet nur einen höchst zuverlässigen repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels. In einem Fall, bei dem Pixel eines Ausgangstiefenbildes, dessen Tiefenwert nicht erfasst wird, in der Anzahl verringert werden sollen, verringert der Analyseabschnitt 262 für die zusammengefügten Informationen unterdessen den Bestimmungsschwellenwert Th_{histo_ratio}, so dass der berechnete repräsentative Tiefenwert wahrscheinlich als der Tiefenwert des interessierenden Pixels betrachtet wird.
• Der Analyseabschnitt 262 für die zusammengefügten Informationen generiert einen Ausgangstiefenwert, indem er den Tiefenwert D_filtered(n, x) jedes interessierenden Pixels berechnet. Der Analyseabschnitt 262 für die zusammengefügten Informationen verknüpft die Zuverlässigkeit D_confidence (n, x), die für jedes interessierende Pixel berechnet worden ist, mit dem Ausgangstiefenbild und gibt das resultierende Ausgangstiefenbild aus. Des Weiteren bewirkt der Analyseabschnitt 262 für die zusammengefügten Informationen, dass der Speicherabschnitt 27 für das vorherige Tiefenbild das generierte Ausgangstiefenbild als das vorherige Tiefenbild speichert. Es sei angemerkt, dass das im Speicherabschnitt 27 für das vorherige Tiefenbild gespeicherte vorherige Tiefenbild ein Tiefenbild ist, das die Distanz zu einem Objekt in einem vorherigen Führungsbild angibt, das im Speicherabschnitt 22 für das vorherige Führungsbild gespeichert ist.
• Jetzt werden Operationen der ersten Ausführungsform beschrieben. Die 7 ist ein Flussdiagramm, das die Operationen der ersten Ausführungsform veranschaulicht. Im Schritt ST1 stellt die Bildverarbeitungseinrichtung eine Gewichtung für jedes Pixel im Randbereich ein. Der Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild des Informationsgenerierungsverarbeitungsabschnitts 21 für das Eingangsbild in der Bildverarbeitungseinrichtung 20 berechnet die Pixelinformationsähnlichkeit zwischen einem interessierenden Pixel im Eingangsführungsbild und einem Pixel im Randbereich des Eingangsbildes und stellt eine Gewichtung auf Basis der berechneten Ähnlichkeit für jedes Pixel im Randbereich des Eingangsbildes ein. Gleichermaßen berechnet der Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild des Informationsgenerierungsverarbeitungsabschnitts 24 für das vorherige Bild die Pixelinformationsähnlichkeit zwischen dem interessierenden Pixel und einem Pixel im Randbereich des vorherigen Bildes des vorherigen Führungsbildes und stellt eine Gewichtung auf Basis der berechneten Ähnlichkeit für jedes Pixel im Randbereich des vorherigen Bildes ein. Die Bildverarbeitungseinrichtung 20 stellt die Gewichtung für jedes Pixel im Randbereich des Eingangsbildes und im Randbereich des vorherigen Bildes ein und fährt mit dem Schritt ST2 fort.
• Im Schritt ST2 generiert die Bildverarbeitungseinrichtung die Tiefenverteilungsmerkmalsinformationen. Der Verteilungsmerkmalsinformationsgenerierungsabschnitt 212 für das Eingangsbild des Informationsgenerierungsverarbeitungsabschnitts 21 für das Eingangsbild in der Bildverarbeitungseinrichtung 20 generiert die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, indem er den Tiefenwert eines Pixels im Randbereich des Eingangsbildes mit der Gewichtung des Pixels im Randbereich des Eingangsbildes verknüpft, die durch den Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild bestimmt wird. Zum Beispiel generiert der Verteilungsmerkmalsinformationsgenerierungsabschnitt 212 für das Eingangsbild als die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes ein aktuelles Tiefenhistogramm, dessen Häufigkeit der akkumulierte Gewichtungswert jedes Tiefenwerts ist, wobei jeder Tiefenwert als eine Klasse betrachtet wird. Der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 für das vorherige Bild des Informationsgenerierungsverarbeitungsabschnitts 24 für das vorherige Bild generiert die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes, indem er den Tiefenwert eines Pixels im Randbereich des vorherigen Bildes des vorherigen Tiefenbildes mit der Gewichtung eines Pixels im Randbereich des vorherigen Bildes verknüpft, die durch den Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild bestimmt wird. Zum Beispiel generiert der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 für das vorherige Bild als die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes ein vorheriges Tiefenhistogramm, dessen Häufigkeit der akkumulierte Gewichtungswert jedes Tiefenwerts ist, wobei jeder Tiefenwert als eine Klasse betrachtet wird. Die Bildverarbeitungseinrichtung 20 generiert die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes und fährt mit dem Schritt ST3 fort.
• Im Schritt ST3 stellt die Bildverarbeitungseinrichtung das Zusammenfügungsverhältnis ein. Gemäß der Größe der Pixelinformationsdifferenz zwischen einem interessierenden Pixel im Eingangsführungsbild und einem entsprechenden Pixel im vorherigen Führungsbild stellt der Zusammenfügungssteuerabschnitt 25 in der Bildverarbeitungseinrichtung 20 das Zusammenfügungsverhältnis zwischen den Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes ein. Der Zusammenfügungssteuerabschnitt 25 stellt das Zusammenfügungsverhältnis auf eine solche Art und Weise ein, dass sich das Verhältnis der Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit einer Erhöhung der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel erhöht. Bei Abschluss des Schritts ST3 fährt die Verarbeitung mit dem Schritt ST4 fort.
• Im Schritt ST4 generiert die Bildverarbeitungseinrichtung die zusammengefügten Tiefenverteilungsmerkmalsinformationen. Der Informationszusammenfügungsabschnitt 261 in der Bildverarbeitungseinrichtung 20 generiert die zusammengefügten Tiefenverteilungsmerkmalsinformationen, indem er in dem im Schritt ST3 eingestellten Zusammenfügungsverhältnis die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes, die im Schritt ST2 generiert worden sind, zusammenfügt. Zum Beispiel generiert der Informationszusammenfügungsabschnitt 261 für jeden Tiefenwert das zusammengefügte Tiefenhistogramm, indem er die Gewichtungen des aktuellen Tiefenhistogramms und des vorherigen Tiefenhistogramms im Zusammenfügungsverhältnis zusammenfügt. Bei Abschluss des Schritts ST4 fährt die Verarbeitung mit dem Schritt ST5 fort.
• Im Schritt ST5 berechnet die Bildverarbeitungseinrichtung den repräsentativen Tiefenwert. Der Analyseabschnitt 262 für die zusammengefügten Informationen in der Bildverarbeitungseinrichtung 20 berechnet den repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen, die im Schritt ST4 generiert worden sind. Zum Beispiel berechnet der Analyseabschnitt 262 für die zusammengefügten Informationen den Mediantiefenwert des zusammengefügten Tiefenhistogramms als den repräsentativen Tiefenwert. Bei Abschluss des Schritts ST5 fährt die Verarbeitung mit dem Schritt ST6 fort.
• Im Schritt ST6 bestimmt die Bildverarbeitungseinrichtung den Tiefenwert eines interessierenden Pixels. Der Analyseabschnitt 262 für die zusammengefügten Informationen in der Bildverarbeitungseinrichtung 20 berechnet die Zuverlässigkeit des im Schritt ST5 berechneten repräsentativen Tiefenwerts und betrachtet den repräsentativen Tiefenwert mit einer Zuverlässigkeit, die nicht geringer als der Bestimmungsschwellenwert ist, als den Tiefenwert des interessierenden Pixels. Zum Beispiel berechnet der Analyseabschnitt 262 für die zusammengefügten Informationen das Verhältnis der Gesamtgewichtung des Zuverlässigkeitsbestimmungsbereichs zur Gesamtgewichtung der ganzen Klassenbreite des zusammengefügten Tiefenhistogramms als die Zuverlässigkeit. Falls die Zuverlässigkeit nicht geringer als der voreingestellte Bestimmungsschwellenwert ist, betrachtet der Analyseabschnitt 262 für die zusammengefügten Informationen den im Schritt ST5 berechneten repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels. Falls dagegen die Zuverlässigkeit als geringer als der voreingestellte Bestimmungsschwellenwert ermittelt wird, betrachtet der Analyseabschnitt 262 für die zusammengefügten Informationen den Tiefenwert des interessierenden Pixels als einen ungültigen Wert.
• Die Bildverarbeitungseinrichtung berechnet den Tiefenwert eines interessierenden Pixels, indem sie die Schritte ST1 bis ST6 für jedes interessierende Pixel durchführt. Es sei angemerkt, dass die in der 7 gezeigte Verarbeitung nicht immer der Reihe nach Schritt für Schritt durchgeführt werden muss. Eine Alternative ist zum Beispiel, Pipeline-Verarbeitung oder parallele Verarbeitung durchzuführen.
• Die oben beschriebene erste Ausführungsform fügt die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammen, um die zusammengefügten Tiefenverteilungsmerkmalsinformationen zu ermitteln, berechnet repräsentative Tiefenwerte anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen und betrachtet einen repräsentativen Tiefenwert mit einer höheren Zuverlässigkeit als der Bestimmungsschwellenwert als den Tiefenwert eines interessierenden Pixels. Daher wird ein höchst zuverlässiger Tiefenwert als der Tiefenwert des interessierenden Pixels gemäß den Pixelinformationen und dem Tiefenwert eines Pixels in der raumzeitlichen Richtung in Bezug auf das interessierende Pixel betrachtet. Dies verbessert die raumzeitliche Stabilität eines Tiefenbildes. Falls zum Beispiel ein Schrotrauschen eines bildgebenden Elements in einem Bild vom rechten Betrachtungspunkt oder einem Bild vom linken Betrachtungspunkt, das für einen Abgleichprozess verwendet wird, auftritt, kann ein Fehler im Abgleichprozess zum Beispiel aufgrund von Rauschen auftreten, wodurch Rauschen bewirkt wird, das einen inkorrekten Tiefenwert für das Tiefenbild angibt. In einem solchen Beispiel fügt die Bildverarbeitungseinrichtung die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammen, um die zusammengefügten Tiefenverteilungsmerkmalsinformationen zu ermitteln, wählt repräsentative Tiefenwerte anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen aus und betrachtet einen höchst zuverlässigen repräsentativen Tiefenwert als den Tiefenwert. Folglich ist die Bildverarbeitungseinrichtung in der Lage, Rauschen aus dem Tiefenbild zu beseitigen. Wie oben beschrieben wird, führt die Bildverarbeitungseinrichtung einen raumzeitlichen Filterprozess auf dem Eingangstiefenbild unter Verwendung des Führungsbildes und des vorherigen Tiefenbildes durch. Dies ermöglicht es, ein Ausgangstiefenbild zu generieren, das höhere raumzeitliche Stabilität als das Eingangstiefenbild zeigt.
• Falls die Fenstergröße für den Abgleichprozess zum Zeitpunkt der Tiefenwertberechnung in einer Situation erhöht wird, in der die Pixelposition für die Tiefenwertberechnung neben dem Umriss eines Vordergrundobjekts liegt, können sich des Weiteren Bilder in den Fenstern miteinander decken, so dass der Tiefenwert der Pixelposition für die Berechnung als der Tiefenwert des Vordergrundobjekts betrachtet wird. Daher kann das Tiefenbild ein Bild sein, das einen erweiterten Umriss des Vordergrundobjekts zeigt. Allerdings generiert die Bildverarbeitungseinrichtung die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes unter Verwendung der Gewichtung, die auf dem Pixelwert eines Pixels im Randbereich des Eingangsbildes des Eingangsführungsbildes basiert. Des Weiteren generiert die Bildverarbeitungseinrichtung die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes unter Verwendung der Gewichtung, die auf dem Pixelwert eines Pixels im Randbereich des vorherigen Bildes des vorherigen Führungsbildes basiert. Daher ist der repräsentative Tiefenwert, der aus den zusammengefügten Tiefenverteilungsmerkmalsinformationen ausgewählt wird, ein Wert, der unter Berücksichtigung eines Bildes im Randbereich des Führungsbildes ermittelt wird. Das heißt, dass die Kantenformverfeinerung erreicht werden kann, so dass Pixel, die einen Hintergrund an der Begrenzung eines Vordergrundobjekts zeigen, nicht den Tiefenwert des Vordergrundobjekts zeigen. Die 8 zeigt schematische Darstellungen, die die durch die Bildverarbeitungseinrichtung bereitgestellten Vorteile veranschaulichen. (a) der 8 zeigt ein Führungsbild, das in die Bildverarbeitungseinrichtung eingegeben wird. (b) der 8 zeigt ein Tiefenbild, das in die Bildverarbeitungseinrichtung eingegeben wird. (c) der 8 zeigt ein Ausgangstiefenbild, das von der Bildverarbeitungseinrichtung ausgegeben wird. Das in die Bildverarbeitungseinrichtung eingegebene Tiefenbild ist ein Tiefenbild, das einen erweiterten Umriss des Vordergrundobjekts im Vergleich zum Führungsbild zeigt. Die Bildverarbeitungseinrichtung ist in der Lage, ein Ausgangstiefenbild zu generieren, das einen nicht erweiterten Umriss des Vordergrundobjekts zeigt, indem der oben beschriebene Prozess auf dem eingegebenen Tiefenbild durchgeführt wird. Wie oben beschrieben wird, verwendet die Bildverarbeitungseinrichtung vorherige Bilder rekursiv (das vorherige Führungsbild und das vorherige Tiefenbild). Daher ist die Bildverarbeitungseinrichtung in der Lage, raumzeitliches Filtern über einen großen Bereich durchzuführen. Es sei angemerkt, dass der repräsentative Tiefenwert nicht immer der Mediantiefenwert sein muss. Zum Beispiel kann der Modus der Tiefenwerte, der ein Tiefenwert ist, bei dem das Tiefenhistogramm maximiert ist, alternativ als der repräsentative Tiefenwert betrachtet werden. Eine andere Alternative ist es, einen statistischen Wert, der die höchste Zuverlässigkeit zeigt, von mehreren statistischen Werten auszuwählen und den ausgewählten statistischen Wert als den repräsentativen Tiefenwert zu betrachten.
• Des Weiteren ist die Bildverarbeitungseinrichtung in der Lage, zur gleichen Zeit die Zuverlässigkeitskarte des Ausgangstiefenbildes zu generieren. Daher kann das Ausgangstiefenbild gemäß der für die Anwendung erforderlichen Genauigkeit verwendet werden. Des Weiteren verwendet die Bildverarbeitungseinrichtung vorherige Bilder rekursiv (das vorherige Führungsbild und das vorherige Tiefenbild). Daher ist die Bildverarbeitungseinrichtung in der Lage, raumzeitliche Integration über einen großen Bereich zu erreichen, während zum Beispiel die Berechnungsanzahl pro Einheits-Frame reduziert wird. Außerdem generiert die Bildverarbeitungseinrichtung das Ausgangstiefenbild für jedes interessierende Pixel unter Verwendung eines interessierenden Pixels, eines Pixels im Randbereich des Eingangsbildes und eines Pixels im Randbereich des vorherigen Bildes. Das heißt, das Ausgangstiefenbild wird generiert, indem nur lokale Verarbeitung durchgeführt wird. Daher können parallele Computing-Ressourcen effektiv verwendet werden, wenn zum Beispiel eine GPU (Graphics Processing Unit, Grafikverarbeitungseinheit) implementiert ist.
• Des Weiteren steuert die Bildverarbeitungseinrichtung das Zusammenfügungsverhältnis zwischen den Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes gemäß der Größe der Pixelinformationsdifferenz zwischen einem interessierenden Pixel im Eingangsführungsbild und einem entsprechenden Pixel im vorherigen Führungsbild, das einem interessierenden Pixel im vorherigen Führungsbild entspricht. Dies ermöglicht es, den Formkollaps eines Objekts, das sich im Ausgangstiefenbild bewegt hat, zu vermeiden.
• <Zweite Ausführungsform>
• Jetzt wird die Bildverarbeitungseinrichtung gemäß einer zweiten Ausführungsform beschrieben. Die zweite Ausführungsform wird beschrieben, indem ein Fall erklärt wird, bei dem eine Tiefentabelle als die Tiefenverteilungsmerkmalsinformationen generiert wird.
• Die zweite Ausführungsform weist eine ähnliche Anordnung wie die erste Ausführungsform auf. Des Weiteren generieren in der zweiten Ausführungsform der Verteilungsmerkmalsinformationsgenerierungsabschnitt 212 für das Eingangsbild des Informationsgenerierungsverarbeitungsabschnitts 21 für das Eingangsbild und der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 für das vorherige Bild des Informationsgenerierungsverarbeitungsabschnitts 24 für das vorherige Bild die Tiefentabelle, die die Beziehung zwischen Tiefenwert und Gewichtung angibt.
• Für jedes Pixel im Randbereich des Eingangsbildes generiert der Verteilungsmerkmalsinformationsgenerierungsabschnitt 212 für das Eingangsbild eine aktuelle Tiefentabelle, indem er den Tiefenwert mit der Gewichtung verknüpft, die durch den Ähnlichkeitsberechnungsabschnitt 211 für das Eingangsbild berechnet worden ist. Für jedes Pixel im Randbereich des vorherigen Bildes generiert der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 für das vorherige Bild des Weiteren eine vorherige Tiefentabelle, indem er den Tiefenwert mit der Gewichtung verknüpft, die durch den Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild berechnet worden ist.
• Die 9 zeigt grafische Darstellungen, die Operationen des Verteilungsmerkmalsinformationsgenerierungsabschnitts für das vorherige Bild veranschaulichen. (a) der 9 veranschaulicht den Tiefenwert eines Pixels im Randbereich des vorherigen Bildes des vorherigen Tiefenbildes. Mit „x“ gekennzeichnete Pixel in (a) der 9 weisen einen ungültigen Tiefenwert auf. (b) der 9 veranschaulicht Gewichtungen von Pixeln im Randbereich des vorherigen Bildes, die vom Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild berechnet werden. Der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242 für das vorherige Bild schließt Pixel mit einem ungültigen Wert von den Pixeln im Randbereich des vorherigen Bildes aus und generiert die vorherige Tiefentabelle, die die Beziehung zwischen den Tiefenwerten der übrigen Pixel und den Gewichtungen, wie sie in (c) der 9 gezeigt werden, angibt.
• Der Informationszusammenfügungsabschnitt 261 des Tiefenwertverarbeitungsabschnitts 26 generiert eine Tiefentabelle, indem er die Gewichtungen der aktuellen Tiefentabelle und der vorherigen Tiefentabelle als die Gewichtungen betrachtet, die auf dem Zusammenfügungsverhältnis basieren, das durch den Zusammenfügungssteuerabschnitt 25 eingestellt worden ist. Zum Beispiel multipliziert der Informationszusammenfügungsabschnitt 261 die Gewichtung der vorherigen Tiefentabelle mit dem Zusammenfügungsverhältnis α(n, x) und multipliziert die Gewichtung der aktuellen Tiefentabelle mit dem Zusammenfügungsverhältnis (1 - α(n, x)). Der Informationszusammenfügungsabschnitt 261 generiert eine zusammengefügte Tiefentabelle als die zusammengefügten Tiefenverteilungsmerkmalsinformationen. Die zusammengefügte Tiefentabelle wird durch Kombinieren der aktuellen Tiefentabelle und der vorherigen Tiefentabelle generiert, die Gewichtungen auf Basis des Zusammenfügungsverhältnisses haben.
• Der Analyseabschnitt 262 für die zusammengefügten Informationen berechnet den repräsentativen Tiefenwert anhand der zusammengefügten Tiefentabelle, betrachtet den repräsentativen Tiefenwert mit einer Zuverlässigkeit, die nicht geringer als ein voreingestellter Bestimmungsschwellenwert ist, als den Tiefenwert eines interessierenden Pixels und betrachtet den repräsentativen Tiefenwert mit einer Zuverlässigkeit, die geringer als der Bestimmungsschwellenwert ist, als einen ungültigen Wert.
• Die 10 zeigt grafische Darstellungen, die Operationen des Tiefenwertverarbeitungsabschnitts veranschaulichen. (a) der 10 veranschaulicht die aktuelle Tiefentabelle. (b) der 10 veranschaulicht die vorherige Tiefentabelle. (c) der 10 veranschaulicht die zusammengefügte Tiefentabelle. In der aktuellen Tiefentabelle und der vorherigen Tiefentabelle wird des Weiteren zum Beispiel die Gewichtung in einem Zusammenfügungsverhältnis α(n, x) von 0,2 als ein Zusammenfügungsverhältnisabschnitt angegeben. Des Weiteren gibt die Kennzeichnung „x“ in der 10 an, dass der Tiefenwert ein ungültiger Wert ist.
• Der Tiefenwertverarbeitungsabschnitt 26 schließt die ungültigen Werte aus und generiert die zusammengefügte Tiefentabelle, indem er die aktuelle Tiefentabelle und die vorherige Tiefentabelle kombiniert. Um den Mediantiefenwert zu bestimmen, ordnet der Tiefenwertverarbeitungsabschnitt 26 des Weiteren zum Beispiel Daten in der Reihenfolge der Tiefenwerte neu an. (c) der 10 zeigt die zusammengefügte Tiefentabelle, in der die Daten in der Reihenfolge der Tiefenwerte neu angeordnet sind. Der Tiefenwertverarbeitungsabschnitt 26 berechnet den akkumulierten Gewichtungswert zum Beispiel in der Reihenfolge zunehmender Tiefenwerte.
• Hier ist der akkumulierte Gewichtungswert 8,36. Somit ist der Mediantiefenwert D_median(n, x) 96. Falls eine Bereichseinstellbreite D_thr 2 ist, liegt des Weiteren der Zuverlässigkeitsbestimmungsbereich bei 94 bis 98, und der Gesamtwert des Zuverlässigkeitsbestimmungsbereichs W_{sum_around_med} (n, x) ist 6,16. Die Gesamtgewichtung der gesamten Klassenbreite W_total(n, x), die durch Addieren der Gesamtgewichtung der ungültigen Werte von „0,2“ zum akkumulierten Gewichtungswert „8,9“ bestimmt wird, ist 9,1. Die Zuverlässigkeit D_confidence(n, x) ist W_{sum_around_med} /W_total ≈ 0,67. Falls der Bestimmungsschwellenwert Th_{histo_ratio} 0,5 ist, ist außerdem der Tiefenwert eines interessierenden Pixels 96, weil die Zuverlässigkeit D_confidence(n, x) größer als der Bestimmungsschwellenwert Th_{histo_ratio} ist.
• Die oben beschriebene zweite Ausführungsform stellt nicht nur ähnliche Vorteile wie die erste Ausführungsform bereit, sondern ermöglicht zum Beispiel die Berechnung des repräsentativen Tiefenwerts, weil die Tiefentabellen anstelle des Tiefenhistogramms verwendet werden.
• <Dritte Ausführungsform>
• Jetzt wird die Bildverarbeitungseinrichtung gemäß einer dritten Ausführungsform beschrieben. Die dritte Ausführungsform wird beschrieben, indem ein Fall erklärt wird, bei dem die Zuverlässigkeit eines vorherigen Tiefenbilds verwendet wird, um die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zu generieren.
• Die dritte Ausführungsform weist einen Speicherabschnitt 28 für die vorherige Zuverlässigkeitskarte zusätzlich zu den Elementen auf, die die erste Ausführungsform aufweist.
• Die 11 veranschaulicht eine Anordnung der dritten Ausführungsform. In der 11 werden Elemente, die identisch mit denen der ersten Ausführungsform sind, durch die gleichen Bezugszeichen wie die in der ersten Ausführungsform bezeichnet. In der dritten Ausführungsform weist die Bildverarbeitungseinrichtung 20 den Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild, den Speicherabschnitt 22 für das vorherige Führungsbild, den Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild, den Zusammenfügungssteuerabschnitt 25, den Tiefenwertverarbeitungsabschnitt 26 und den Speicherabschnitt 27 für das vorherige Tiefenbild auf. Des Weiteren weist die Bildverarbeitungseinrichtung 20 den Speicherabschnitt 28 für die vorherige Zuverlässigkeitskarte auf.
• Für jedes interessierende Pixel generiert der Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes gemäß dem Pixelwert und dem Tiefenwert eines Pixels im Randbereich des Eingangsbildes unter Verwendung des Eingangsführungsbildes und des Eingangstiefenbildes.
• Der Speicherabschnitt 22 für das vorherige Führungsbild speichert das vorherige Führungsbild (z. B. ein Führungsbild einen Frame früher). Des Weiteren gibt der Speicherabschnitt 22 für das vorherige Führungsbild das gespeicherte vorherige Führungsbild an den Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild und den Zusammenfügungssteuerabschnitt 25 aus.
• Für jedes interessierende Pixel generiert der Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes gemäß dem Pixelwert eines interessierenden Pixels, dem Pixelwert und dem Tiefenwert eines Pixels im Randbereich des vorherigen Bildes und die Zuverlässigkeit in Bezug auf den Randbereich des vorherigen Bildes. Der Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild weist einen Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild und einen Verteilungsmerkmalsinformationsgenerierungsabschnitt 242a für das vorherige Bild auf.
• Für jedes interessierende Pixel berechnet der Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild eine Gewichtung auf Basis von Pixelinformationsähnlichkeit zwischen dem interessierenden Pixel im Eingangsführungsbild und Pixeln im Randbereich des vorherigen Bildes im vorherigen Führungsbild und bewirkt, dass sich die Gewichtung mit einer Erhöhung in der Pixelinformationsähnlichkeit erhöht. Zum Beispiel verwendet der Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild den Luminanzwert des interessierenden Pixels und den Luminanzwert der Pixel im Randbereich des vorherigen Bildes, um die Gewichtung W_previous (n, x, x') gemäß der Gleichung (4) oben zu berechnen.
• Der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242a für das vorherige Bild generiert die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes, indem er den Tiefenwert und die Zuverlässigkeit eines Pixels im Randbereich des vorherigen Bildes mit der Gewichtung verknüpft, die durch den Ähnlichkeitsberechnungsabschnitt 241 für das vorherige Bild bestimmt worden ist. Die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes geben die Beziehung zwischen einem Tiefenwert im Randbereich des vorherigen Bildes und einer Gewichtung auf Basis der Zuverlässigkeit an. Zum Beispiel generiert der Verteilungsmerkmalsinformationsgenerierungsabschnitt 242a für das vorherige Bild das vorherige Tiefenhistogramm H_previous (n, x, d) gemäß der Gleichung (14). In der Gleichung (14) ist D_confidence (n - 1, x') die Zuverlässigkeit eines Pixels an einer Position „x'“ im Randbereich des vorherigen Bildes, D_filtered (n - 1, x') ist der Tiefenwert des Pixels an der Position „x'“, und d (z. B. 0 ≤ d ≤ 255) ist ein ganzzahliger Wert, der den Tiefenwert angibt. Des Weiteren wird der Randbereich des vorherigen Bildes für das interessierende Pixel x durch die lokale Fensterfunktion W(x) vorgegeben, und das vorherige Tiefenhistogramm wird unter Verwendung der Gewichtung, der Zuverlässigkeit und des Tiefenwerts eines Pixels in einem Bereich generiert, der durch die lokale Fensterfunktion W(x) angegeben ist. Es sei angemerkt, dass der ganzzahlige Wert d, der den Tiefenwert angibt, äquivalent zu Klassen (Bins) des vorherigen Tiefenhistogramms ist. Die Gewichtungen von Randpixeln, für die der ganzzahlige Wert d gleich dem Tiefenwert ist, werden gemäß der Gleichung (15) zusammenaddiert. Der resultierende Wert wird als eine Häufigkeit in Bezug auf den ganzzahligen Wert d betrachtet. Was die Zuverlässigkeit angeht, wird die Zuverlässigkeitskarte, die im Speicherabschnitt 28 für die vorherige Zuverlässigkeitskarte gespeichert ist, verwendet.
  [Formel 11] $$H_{previous}\left(n,x,d\right)={\displaystyle \sum _{x\text{'}\in W\left(x\right)}{D}_{confidence}\left(n-\mathrm{1,}x\text{'}\right)\delta \left(D_{filtered}\left(n-\mathrm{1,}x\text{'}\right)-d\right)}$$

  

  $$\delta \left(m\right)=\{\begin{array}{c}1fallsm=0\\ 0fallsm\ne 0\end{array}$$

  
• Der Zusammenfügungssteuerabschnitt 25 stellt das Zusammenfügungsverhältnis gemäß der Größe der Pixelinformationsdifferenz zwischen einem interessierenden Pixel im Eingangsführungsbild und einem entsprechenden Pixel in einem vorherigen Bild ein und gibt das Zusammenfügungsverhältnis an den Tiefenwertverarbeitungsabschnitt 26 aus.
• Der Tiefenwertverarbeitungsabschnitt 26 fügt im Zusammenfügungsverhältnis, das durch den Zusammenfügungssteuerabschnitt 25 eingestellt worden ist, die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert worden sind, mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes, die vom Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild generiert worden sind, zusammen. Des Weiteren berechnet der Tiefenwertverarbeitungsabschnitt 26 den repräsentativen Tiefenwert gemäß den zusammengefügten Tiefenverteilungsmerkmalsinformationen. Falls des Weiteren die Zuverlässigkeit des repräsentativen Tiefenwerts nicht geringer als ein Bestimmungsschwellenwert ist, betrachtet der Tiefenwertverarbeitungsabschnitt 26 den repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels. Außerdem bewirkt der Tiefenwertverarbeitungsabschnitt 26, dass der Speicherabschnitt 27 für das vorherige Tiefenbild ein Ausgangstiefenbild, das einen Tiefenwert angibt, der für jedes interessierende Pixel berechnet worden ist, als das vorherige Tiefenbild speichert. Zusätzlich bewirkt der Tiefenwertverarbeitungsabschnitt 26, dass der Speicherabschnitt 28 für die vorherige Zuverlässigkeitskarte die Zuverlässigkeitskarte, die die Zuverlässigkeit angibt, die für jedes interessierende Pixel berechnet worden ist, als die Zuverlässigkeitskarte speichert, die dem vorherigen Tiefenbild entspricht, das im Speicherabschnitt 27 für das vorherige Tiefenbild gespeichert worden ist.
• In der dritten Ausführungsform wird die Verarbeitung des Weiteren für jedes interessierende Pixel auf ähnliche Art und Weise durchgeführt, wie im Flussdiagramm der 7 gezeigt wird, und die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes werden im Schritt ST2 gemäß dem Tiefenwert, der Zuverlässigkeit und der Gewichtung eines Pixels im Randbereich des vorherigen Bildes generiert.
• Weil die dritte Ausführungsform wie oben beschrieben ausgebildet ist, stellt sie ähnliche Vorteile wie die erste Ausführungsform bereit. Des Weiteren zeigt sich in der dritten Ausführungsform die Zuverlässigkeitskarte, die dem vorherigen Tiefenbild entspricht, in den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes. Daher werden geeignetere Tiefenwerte ermittelt als in einem Fall, in dem die Zuverlässigkeitskarte nicht verwendet wird. Außerdem ist zu erwarten, dass sich die Genauigkeit der Zuverlässigkeitskarte, die zeitgleich mit dem Ausgangstiefenbild ausgegeben wird, verbessert.
• <Vierte Ausführungsform>
• Ein Bild eines Objekts wird übrigens in einigen Fällen mit sich bewegendem Betrachtungspunkt erfasst. Angesichts solcher Umstände verbessert eine vierte Ausführungsform die raumzeitliche Stabilität eines Tiefenbildes sogar in einem Fall, in dem sich der Betrachtungspunkt bewegt. In der vierten Ausführungsform führt die Bildverarbeitungseinrichtung einen Betrachtungspunktkonvertierungsprozess durch, der wenigstens eines der beiden, das Eingangsbild (das Eingangsführungsbild und das Eingangstiefenbild) oder das vorherige Bild (das vorherige Führungsbild und das vorherige Tiefenbild) in ein Bild konvertiert, das sich im Betrachtungspunkt mit dem anderen Bild deckt. Des Weiteren verwendet die Bildverarbeitungseinrichtung das Eingangsbild und das vorherige Bild, die sich im Betrachtungspunkt miteinander decken, und generiert das Ausgangstiefenbild durch Durchführen des ähnlichen Prozesses wie in einer der ersten bis dritten Ausführungsformen. Das Folgende beschreibt einen Fall, in dem ein Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung zum Bewirken, dass sich der Betrachtungspunkt des vorherigen Bildes mit dem Betrachtungspunkt des Eingangsbildes deckt, zu den Elementen der ersten Ausführungsform hinzugefügt wird.
• Die 12 veranschaulicht eine Anordnung der vierten Ausführungsform. In der 12 werden Elemente, die identisch mit denen der ersten Ausführungsform sind, durch die gleichen Bezugszeichen wie die in der ersten Ausführungsform bezeichnet. Die Bildverarbeitungseinrichtung 20 weist den Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild, den Speicherabschnitt 22 für das vorherige Führungsbild, den Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild, den Zusammenfügungssteuerabschnitt 25, den Tiefenwertverarbeitungsabschnitt 26 und den Speicherabschnitt 27 für das vorherige Tiefenbild auf. Des Weiteren weist die Bildverarbeitungseinrichtung 20 gemäß der vierten Ausführungsform einen Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung auf.
• Der Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes gemäß dem Pixelwert und dem Tiefenwert eines Pixels im Randbereich des Eingangsbildes.
• Der Speicherabschnitt 22 für das vorherige Führungsbild speichert ein vorheriges Führungsbild, das früher als das Eingangsführungsbild ist. Des Weiteren gibt der Speicherabschnitt 22 für das vorherige Führungsbild das gespeicherte vorherige Führungsbild an den Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung aus.
• Der Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung konvertiert das vorherige Führungsbild, das vom Speicherabschnitt 22 für das vorherige Führungsbild ausgegeben worden ist, zu einem Bild mit dem Betrachtungspunkt des Eingangsbildes. Des Weiteren konvertiert der Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung das vorherige Tiefenbild, das im Speicherabschnitt 27 für das vorherige Tiefenbild gespeichert worden ist, zu einem Tiefenbild mit dem Betrachtungspunkt des Eingangsbildes.
• Der Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung weist einen Positions-/Stellungsdetektionsabschnitt 231, einen Speicherabschnitt 232 für die vorherige Position/Stellung, einen Generierungsabschnitt 233 für den Betrachtungspunktkonvertierungsparameter, einen Konvertierungsabschnitt 234 für den Führungsbildbetrachtungspunkt und einen Konvertierungsabschnitt 235 für den Tiefenbildbetrachtungspunkt auf.
• Der Positions-/Stellungsdetektionsabschnitt 231 detektiert die Position und die Stellung einer Bildgebungseinrichtung, die ein Führungsbild gemäß dem Eingangsführungsbild generiert hat. Der Positions-/Stellungsdetektionsabschnitt 231 verwendet ein Verfahren, das zum Beispiel in Davison, Andrew J. „Realtime simultaneous localisation and mapping with a single camera", Computer Vision, 2003, Proceedings, Ninth IEEE International Conference on IEEE 2003, offenbart worden ist, um die Position und die Stellung der Bildgebungseinrichtung zu detektieren, die das Eingangsführungsbild generiert hat, und gibt das Ergebnis der Detektion an den Speicherabschnitt 232 für die vorherige Position/Stellung und den Generierungsabschnitt 233 für den Betrachtungspunktkonvertierungsparameter aus.
• Der Speicherabschnitt 232 für die vorherige Position/Stellung speichert das Detektionsergebnis, das vom Positions-/Stellungsdetektionsabschnitt 231 ausgegeben worden ist. Des Weiteren gibt der Speicherabschnitt 232 für die vorherige Position/Stellung das gespeicherte Detektionsergebnis, das heißt das Detektionsergebnis, das auf dem vorherigen Führungsbild basiert, an den Generierungsabschnitt 233 für den Betrachtungspunktkonvertierungsparameter aus.
• Der Generierungsabschnitt 233 für den Betrachtungspunktkonvertierungsparameter generiert einen Betrachtungspunktkonvertierungsparameter. Der Betrachtungspunktkonvertierungsparameter wird verwendet, um einen Betrachtungspunktkonvertierungsprozess durchzuführen, der bewirkt, dass das vorherige Führungsbild und das vorherige Tiefenbild sich im Betrachtungspunkt mit dem Eingangsbild decken. Der Generierungsabschnitt 233 für den Betrachtungspunktkonvertierungsparameter gibt den generierten Betrachtungspunktkonvertierungsparameter an den Konvertierungsabschnitt 234 für den Führungsbildbetrachtungspunkt und den Konvertierungsabschnitt 235 für den Tiefenbildbetrachtungspunkt aus.
• Die 13 zeigt grafische Darstellungen, die eine Betrachtungspunktkonvertierung veranschaulichen. (a) der 13 zeigt ein zweidimensionales Tiefenbild, das nicht der Betrachtungspunktkonvertierung unterworfen wird. (b) der 13 zeigt die Bewegung der Bildgebungseinrichtung. (c) der 13 zeigt ein zweidimensionales Tiefenbild, das der Betrachtungspunktkonvertierung unterworfen wird. Die 13 veranschaulicht einen Fall, in dem die Bildgebungseinrichtung CAM (Betrachtungspunkt) während eines Zeitraums zwischen dem Zeitpunkt t0 und dem Zeitpunkt t1 bewegt wird, und ein Tiefenbild zum Zeitpunkt t0 (vorheriges Tiefenbild) wird in ein Tiefenbild mit einem Betrachtungspunkt zum Zeitpunkt t1 (dem Betrachtungspunkt eines Eingangstiefenbildes) konvertiert.
• Ein Punkt Z₀ (x₀ , y₀ ) des zweidimensionalen Tiefenbildes zum Zeitpunkt t0 kann in einen dreidimensionalen Punkt (X₀ , Y₀ , Z₀ ) gemäß den Gleichungen (16) und (17) konvertiert werden. Z₀ ist ein Tiefenwert an einer Position (x₀ , y₀ ), f ist eine Brennweite und C_x, C_y ist der Mittelpunkt eines Bildes.
  [Formel 12] $${\text{X}}_0=\frac{{\text{x}}_0-{\text{c}}_{\text{x}}}{\text{f}}{\text{Z}}_0$$

  

  $${\text{Y}}_0=\frac{{\text{y}}_0-{\text{c}}_{\text{y}}}{\text{f}}{\text{Z}}_0$$

  
• Der dreidimensionale Punkt (X₀ , Y₀ , Z₀ ) zum Zeitpunkt t0 kann in einen dreidimensionalen Punkt (X₁ , Y₁ , Z₁ ) zum Zeitpunkt t1 gemäß der Gleichung (18) unter Verwendung der externen Parameter R₀ , T₀ vor der Bewegung des Betrachtungspunkts und der externen Parameter R₁ , T₁ nach der Bewegung des Betrachtungspunkts konvertiert werden. Es sei angemerkt, dass die externen Parameter R₀ , R₁ Betrachtungspunktrotationsparameter sind und dass die externen Parameter T₀ , T₁ Betrachtungspunktverschiebungsparameter sind.
  [Formel 13] $$\left(\begin{array}{c}{\text{X}}_1\\ {\text{Y}}_1\\ {\text{Z}}_1\end{array}\right)={\text{R}}_1{\text{R}}_0{}^{-1}\left(\begin{array}{c}{\text{X}}_0\\ {\text{Y}}_0\\ {\text{Z}}_0\end{array}\right)-{\text{R}}_1{\text{R}}_0{}^{-1}{\text{T}}_0+{\text{T}}_1$$

  
• Des Weiteren kann der dreidimensionale Punkt (X1, Y1, Z1) zum Zeitpunkt t1 in einen Punkt Z1(x1, y1) eines zweidimensionalen Tiefenbildes zum Zeitpunkt t1 gemäß den Gleichungen (19) und (20) konvertiert werden. Es sei angemerkt, dass Z1 der Tiefenwert einer Position (x1, y1) ist.
  [Formel 14] $${\text{x}}_1=\text{f}\frac{{\text{X}}_1}{{\text{Z}}_1}+{\text{c}}_{\text{x}}$$

  

  $${\text{y}}_1=\text{f}\frac{{\text{Y}}_1}{{\text{Z}}_1}+{\text{c}}_{\text{y}}$$

  
• Auf die oben beschriebene Art und Weise kann das Tiefenbild zum Zeitpunkt t0 in ein Tiefenbild mit dem Betrachtungspunkt des Zeitpunkts t1 konvertiert werden. Gemäß der vorher ermittelten Brennweite f, dem Detektionsergebnis (das den externen Parametern R₁ , T₁ nach der Bewegung des Betrachtungspunkts entspricht), das vom Positions-/Stellungsdetektionsabschnitt 231 ausgegeben worden ist, und dem Detektionsergebnis (das den externen Parametern R₀ , T₀ vor der Bewegung des Betrachtungspunkts entspricht), das im Speicherabschnitt 232 für die vorherige Position/Stellung gespeichert ist, generiert der Generierungsabschnitt 233 für den Betrachtungspunktkonvertierungsparameter den Betrachtungspunktkonvertierungsparameter, der den Punkt Z₀(x₀ , y₀ ) des zweidimensionalen Tiefenbildes in den Punkt Z₁ (x₁ , y₁ ) konvertiert.
• Der Konvertierungsabschnitt 234 für den Führungsbildbetrachtungspunkt führt die Betrachtungspunktkonvertierung unter Verwendung eines Konvertierungsparameters durch, um das vorherige Führungsbild, das im Speicherabschnitt 22 für das vorherige Führungsbild gespeichert ist, in ein Führungsbild mit einem Betrachtungspunkt zu konvertieren, der gleich dem des Eingangsführungsbildes ist, und gibt das resultierende Führungsbild an den Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild aus.
• Der Konvertierungsabschnitt 235 für den Tiefenbildbetrachtungspunkt führt die Betrachtungspunktkonvertierung unter Verwendung eines Konvertierungsparameters durch, um das vorherige Tiefenbild, das im Speicherabschnitt 27 für das vorherige Tiefenbild gespeichert ist, in ein Tiefenbild mit einem Betrachtungspunkt zu konvertieren, der gleich dem des Eingangstiefenbildes ist, und gibt das resultierende Tiefenbild an den Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild aus.
• Gemäß dem Pixelwert eines interessierenden Pixels und dem Pixelwert, dem Tiefenwert und der Gewichtung eines Pixels im Randbereich des vorherigen Bildes generiert der Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes in Bezug auf das interessierende Pixel unter Verwendung des vorherigen Führungsbildes und des vorherigen Tiefenbildes, die der Betrachtungspunktkonvertierung unterworfen worden sind.
• Der Zusammenfügungssteuerabschnitt 25 stellt das Zusammenfügungsverhältnis gemäß der Größe der Pixelinformationsdifferenz zwischen einem interessierenden Pixel im Eingangsführungsbild und einem entsprechenden Pixel im vorherigen Führungsbild, das der Betrachtungspunktkonvertierung unterzogen worden ist, ein und gibt das Zusammenfügungsverhältnis an den Tiefenwertverarbeitungsabschnitt 26 aus.
• Der Tiefenwertverarbeitungsabschnitt 26 fügt im Zusammenfügungsverhältnis, das durch den Zusammenfügungssteuerabschnitt 25 eingestellt worden ist, die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt 21 für das Eingangsbild generiert worden sind, mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes, die vom Informationsgenerierungsverarbeitungsabschnitt 24 für das vorherige Bild generiert worden sind, zusammen. Des Weiteren berechnet der Tiefenwertverarbeitungsabschnitt 26 den repräsentativen Tiefenwert gemäß den zusammengefügten Tiefenverteilungsmerkmalsinformationen. Falls des Weiteren die Zuverlässigkeit des repräsentativen Tiefenwerts nicht geringer als ein Bestimmungsschwellenwert ist, betrachtet der Tiefenwertverarbeitungsabschnitt 26 den repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels. Außerdem bewirkt der Tiefenwertverarbeitungsabschnitt 26, dass der Speicherabschnitt 27 für das vorherige Tiefenbild ein Ausgangstiefenbild, das einen Tiefenwert angibt, der für jedes interessierende Pixel berechnet worden ist, als das vorherige Tiefenbild speichert. Zusätzlich bewirkt der Tiefenwertverarbeitungsabschnitt 26, dass der Speicherabschnitt 28 für die vorherige Zuverlässigkeitskarte die Zuverlässigkeitskarte speichert, die die berechnete Zuverlässigkeit angibt.
• Die 14 ist ein Flussdiagramm, das eine Betrachtungspunktkonvertierungsoperation veranschaulicht. Im Schritt ST11 führt die Bildverarbeitungseinrichtung die Positions-/Stellungsdetektion durch. Gemäß dem Eingangsbild detektiert der Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung in der Bildverarbeitungseinrichtung 20 die Position und die Stellung einer Bildgebungseinrichtung, die das Eingangsbild generiert hat. Bei Abschluss des Schritts ST11 fährt die Verarbeitung mit dem Schritt ST12 fort.
• Im Schritt ST12 generiert die Bildverarbeitungseinrichtung einen Betrachtungspunktkonvertierungsparameter. Gemäß dem Ergebnis der Positions- und Stellungsdetektion im Schritt ST11 und mit einem Positions-/Stellungsdetektionsergebnis, das aus der auf dem vorherigen Führungsbild basierenden Berechnung hergeleitet worden ist, generiert der Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung einen Betrachtungspunktkonvertierungsparameter, der bewirkt, dass sich das Eingangsbild und das vorherige Bild im Betrachtungspunkt decken. Bei Abschluss des Schritts ST12 fährt die Verarbeitung mit dem Schritt ST13 fort.
• Im Schritt ST13 führt die Bildverarbeitungseinrichtung Betrachtungspunktkonvertierung durch. Der Verarbeitungsabschnitt 23 zur Betrachtungspunktkonvertierung führt die Betrachtungspunktkonvertierung unter Verwendung des Betrachtungspunktkonvertierungsparameters durch, der im Schritt ST12 generiert worden ist, und bewirkt, dass sich das Eingangsbild und das vorherige Bild im Betrachtungspunkt gemäß dem Ergebnis der Detektion und dem Positions-/Stellungsdetektionsergebnis, das anhand der auf dem vorherigen Führungsbild basierenden Berechnung hergeleitet worden ist, decken.
• Die Bildverarbeitungseinrichtung bewirkt, dass sich das Eingangsbild und das vorherige Bild im Betrachtungspunkt decken, indem sie die in der 14 veranschaulichte Betrachtungspunktkonvertierungsoperation durchführt, und dann ein Ausgangstiefenbild mit verbesserter raumzeitlicher Stabilität generiert, indem der im Flussdiagramm der 7 gezeigte Prozess für jedes der interessierenden Pixel durchgeführt wird, die in Bezug auf das Eingangsbild sequentiell eingestellt worden sind. Des Weiteren führt die Bildverarbeitungseinrichtung den im Flussdiagramm der 14 gezeigten Prozess und den im Flussdiagramm der 7 gezeigten Prozess jedes Mal durch, wenn ein neues Bild eingegeben wird.
• Die 15 veranschaulicht die Bewegungen eines Betrachtungspunkts und eines Vordergrundobjekts. Die 16 veranschaulicht Operationen der vierten Ausführungsform, die durchgeführt werden, wenn sich der Betrachtungspunkt und das Vordergrundobjekt bewegt haben, wie in der 15 gezeigt wird.
• Mit Bezug auf die 14: Die Bildgebungseinrichtung CAM (Betrachtungspunkt) und das Vordergrundobjekt werden während eines Zeitraums zwischen dem Zeitpunkt t0 und dem Zeitpunkt t1 bewegt.
• Die 15 veranschaulicht einen Fall, in dem die raumzeitliche Stabilität in Bezug auf das Eingangsbild zum Zeitpunkt t1 verbessert werden soll. In diesem Fall wird ein Führungsbild zum Zeitpunkt t0 im Speicherabschnitt für das vorherige Führungsbild als das vorherige Führungsbild gespeichert. Des Weiteren wird ein Ausgangstiefenbild, das durch Durchführen eines Prozesses zum Verbessern der raumzeitlichen Stabilität in Bezug auf ein Tiefenbild zum Zeitpunkt t0 generiert worden ist, im Speicherabschnitt für das vorherige Tiefenbild als das vorherige Tiefenbild gespeichert. Des Weiteren wird das Ergebnis der Positions- und Stellungsdetektion einer Bildgebungseinrichtung, die ein Führungsbild gemäß einem Führungsbild zum Zeitpunkt t0 generiert hat, im Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung gespeichert. Es sei angemerkt, dass die in der 15 gezeigten Blöcke mit den gleichen Bezugszeichen bezeichnet werden, wie die in der 12 gezeigten Blöcke, und dazu angepasst sind, entsprechende Prozesse durchzuführen.
• Gemäß einem Führungsbild zum Zeitpunkt t1 detektiert ein Positions-/Stellungsdetektionsprozess die Position und die Stellung einer Bildgebungseinrichtung, die ein Führungsbild generiert hat. Gemäß dem Ergebnis der Positions- und Stellungsdetektion auf Basis eines Führungsbildes zum Zeitpunkt t0 und dem Ergebnis der Positions- und Stellungsdetektion auf Basis eines Führungsbildes zum Zeitpunkt t1 generiert ein Generierungsprozess für den Stellungskonvertierungsparameter einen Betrachtungspunktkonvertierungsparameter, der das vorherige Führungsbild und das vorherige Tiefenbild in Bilder konvertiert, die die Betrachtungspunkte des Führungsbildes und des Tiefenbildes zum Zeitpunkt t1 haben.
• Der Betrachtungspunktkonvertierungsprozess verwendet den Betrachtungspunktkonvertierungsparameter, um Betrachtungspunktkonvertierung des vorherigen Führungsbildes und des vorherigen Tiefenbildes durchzuführen und ein vorheriges Führungsbild und ein vorheriges Tiefenbild zu generieren, die die Betrachtungspunkte des Führungsbildes und des Tiefenbildes zum Zeitpunkt t1 haben.
• Für jedes interessierende Pixel berechnet ein Zusammenfügungssteuerprozess eine Gewichtung gemäß der Größe der Pixelinformationsdifferenz unter Verwendung des Führungsbildes zum Zeitpunkt t1 und des vorherigen Führungsbildes, das der Betrachtungspunktkonvertierung unterworfen wird. Es sei angemerkt, dass die 15 das Ergebnis der Differenzgrößendetektion zeigt und dass ein schwarzer Bereich ein Pixelbereich ist, in dem eine Pixelinformationsdifferenz anzutreffen ist und dass des Weiteren der andere Bereich ein Pixelbereich ist, in dem Pixelinformationsdeckung erreicht wird.
• Ein raumzeitlicher Integrationsprozess für das Tiefenbild fügt die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes im Zusammenfügungsverhältnis zusammen, das durch den Zusammenfügungssteuerabschnitt eingestellt worden ist, berechnet den repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen und generiert ein Ausgangstiefenbild, indem er den berechneten repräsentativen Tiefenwert als den Tiefenwert eines interessierenden Pixels behandelt.
• Weil die vierte Ausführungsform wie oben beschrieben ist, stellt sie ähnliche Vorteile wie die erste Ausführungsform bereit. Auch wenn sich der Betrachtungspunkt ändert, ist die vierte Ausführungsform des Weiteren in der Lage, die raumzeitliche Stabilität eines Tiefenbildes zu verbessern. Daher können Anwendungen, bei denen eine Bildgebungseinrichtung in einer Mobileinrichtung montiert ist (z. B. ein mobiles Endgerät, wie zum Beispiel ein Smartphone oder ein Feature Phone), oder eine Wearable-Einrichtung (z. B. ein am Kopf montiertes Display) unterstützt werden, indem Interframe-Änderungen in der Position und der Stellung der Bildgebungseinrichtung kompensiert werden.
• Eine Reihe von in diesem Dokument beschriebenen Prozessen kann durch Hardware, Software oder eine Kombination von beiden durchgeführt werden. In einem Fall, in dem die Prozesse durch Software durchgeführt werden sollen, ist es möglich, ein Programm zu installieren, in dem eine Verarbeitungssequenz in einem Speicher eines Computers, der in dedizierter Hardware integriert ist, aufgezeichnet wird, und dann das Programm auszuführen oder das Programm in einem Universalcomputer zu installieren, der in der Lage ist, verschiedene Prozesse durchzuführen, und dann das Programm auszuführen.
• Zum Beispiel kann das Programm vorab auf einer Festplatte oder einem SSD (Solid State Drive) aufgezeichnet werden, die als ein Aufzeichnungsmedium verwendet werden, oder in einem ROM (Read-Only Memory, Nur-Lese-Speicher). Alternativ kann das Programm zeitweise oder dauerhaft auf einer Flexible Disk, einer CD-ROM (Compact Disk Read-Only Memory), einer MO-(magneto-optischen) Speicherplatte, einer DVD (Digital Versatile Disk), einer BD (Blu-Ray Disc (eingetragene Marke)), einer Magnetplatte, einem Halbleiterspeicher oder einem anderen auswechselbaren Aufzeichnungsmedium gespeichert (aufgezeichnet) werden. Solch ein auswechselbares Aufzeichnungsmedium kann als Package-Software geliefert werden.
• Als eine Alternative zum Verfahren, das Programm von einem auswechselbaren Aufzeichnungsmedium auf einem Computer zu installieren, kann das Programm auf eine drahtlose oder drahtgebundene Art und Weise über ein Netzwerk, wie zum Beispiel einem LAN (Local Area Network) oder dem Internet, von einer Download-Site auf den Computer übertragen werden. In einem solchen Fall kann der Computer das übertragene Programm empfangen und es auf einer eingebauten Festplatte oder einem anderen Aufzeichnungsmedium installieren.
• Die in diesem Dokument beschriebenen Vorteile sind lediglich veranschaulichend und nicht restriktiv. Die vorliegende Technologie ist nicht auf die beschriebenen Vorteile beschränkt und kann zusätzliche Vorteile bereitstellen. Die Auslegung der vorliegenden Technologie ist nicht auf diejenigen beschränkt, die in Verbindung mit den vorher genannten Ausführungsformen beschrieben werden. Die Ausführungsformen der vorliegenden Technologie offenbaren die vorliegende Technologie auf eine veranschaulichende Art und Weise. Es ist zu verstehen, dass die Ausführungsformen von Fachleuten modifiziert oder geändert werden können, ohne vom Gedanken und vom Schutzbereich der vorliegenden Technologie abzuweichen. Das heißt, dass der Gedanke der vorliegenden Technologie unter Berücksichtigung der beigefügten Ansprüche bestimmt werden sollte.
• Des Weiteren kann die Bildverarbeitungseinrichtung gemäß der vorliegenden Technologie die folgenden Anordnungen annehmen.
1. (1) Eine Bildverarbeitungseinrichtung, die Folgendes aufweist:
   • einen Tiefenwertverarbeitungsabschnitt, der Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammenfügt, um zusammengefügte Tiefenverteilungsmerkmalsinformationen zu generieren, der einen repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen berechnet und den berechneten repräsentativen Tiefenwert als einen Tiefenwert eines interessierenden Pixels eines Eingangsbildes betrachtet, wobei die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes auf dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf das interessierende Pixel basieren, wobei die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes auf dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf ein Pixel, das der Pixelposition des interessierenden Pixels in einem vorherigen Bild entspricht, basieren, wobei das vorherige Bild ein früheres Bild als das Eingangsbild ist.
2. (2) Die Bildverarbeitungseinrichtung, wie sie in (1) beschrieben wird, die des Weiteren Folgendes aufweist:
   • einen Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild, der die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes generiert; und
   • einen Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild, der die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes generiert,
   • wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild für jedes Pixel im Randbereich die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes generiert, indem er den Tiefenwert mit einer Gewichtung verknüpft, die auf der Ähnlichkeit von Pixelinformationen zum interessierenden Pixel basiert, und
   • wobei der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild für jedes Pixel im Randbereich in Bezug auf das entsprechende Pixel die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes generiert, indem er den Tiefenwert mit einer Gewichtung verknüpft, die auf der Ähnlichkeit der Pixelinformationen zum interessierenden Pixel basiert.
3. (3) Die Bildverarbeitungseinrichtung, wie sie in (2) beschrieben wird, die des Weiteren Folgendes aufweist:
   • einen Zusammenfügungssteuerabschnitt, der ein Zusammenfügungsverhältnis gemäß der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel einstellt,
   • wobei der Tiefenwertverarbeitungsabschnitt die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes in dem Zusammenfügungsverhältnis zusammenfügt, das durch den Zusammenfügungssteuerabschnitt eingestellt worden ist.
4. (4) Die Bildverarbeitungseinrichtung, wie sie in (3) beschrieben wird, wobei der Zusammenfügungssteuerabschnitt bewirkt, dass sich das Zusammenfügungsverhältnis für die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild generiert worden sind, mit einer Erhöhung der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel erhöht.
5. (5) Die Bildverarbeitungseinrichtung, wie sie in (3) oder (4) beschrieben wird, wobei die Pixelinformationen Informationen in Bezug auf Luminanz oder Farbe aufweisen.
6. (6) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (2) bis (5) beschrieben wird, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild bewirken, dass sich die Gewichtung mit einer Erhöhung der Ähnlichkeit der Pixelinformationen zum interessierenden Pixel erhöhen.
7. (7) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (2) bis (6) beschrieben wird, wobei, falls die Zuverlässigkeit des repräsentativen Tiefenwerts, der durch den Tiefenwertverarbeitungsabschnitt berechnet worden ist, nicht geringer als ein voreingestellter Bestimmungsschwellenwert ist, der Tiefenwertverarbeitungsabschnitt den repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels betrachtet.
8. (8) Die Bildverarbeitungseinrichtung, wie sie in (7) beschrieben wird, wobei der Tiefenwertverarbeitungsabschnitt das Verhältnis der Gesamtgewichtung in einem vorbestimmten Tiefenbereich, der auf dem repräsentativen Tiefenwert basiert, zur Gesamtgewichtung der zusammengefügten Tiefenverteilungsmerkmalsinformationen als die Zuverlässigkeit betrachtet.
9. (9) Die Bildverarbeitungseinrichtung, wie sie in (7) oder (8) beschrieben wird, wobei, falls die Zuverlässigkeit geringer als der voreingestellte Bestimmungsschwellenwert ist, der Tiefenwertverarbeitungsabschnitt den Tiefenwert des interessierenden Pixels als einen ungültigen Wert betrachtet, und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes generiert, indem er Pixel, die den ungültigen Wert angeben, gegenüber Pixeln im Randbereich in Bezug auf das entsprechende Pixel ausschließt.
10. (10) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (7) bis (9) beschrieben wird, wobei der Tiefenwertverarbeitungsabschnitt in der Lage ist, den Bestimmungsschwellenwert zu ändern.
11. (11) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (2) bis (10) beschrieben wird, wobei der Tiefenwertverarbeitungsabschnitt die zusammengefügten Tiefenverteilungsmerkmalsinformationen als Tiefenwertordnungsinformationen betrachtet und einen Tiefenwert mit einem akkumulierten Mediangewichtungswert als den repräsentativen Tiefenwert behandelt.
12. (12) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (2) bis (11) beschrieben wird, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild als die Tiefenverteilungsmerkmalsinformationen ein Tiefenhistogramm generiert, das durch Akkumulation der Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln im Randbereich in Bezug auf das interessierende Pixel ermittelt wird, wobei der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild als die Tiefenverteilungsmerkmalsinformationen für das vorherige Bild ein Tiefenhistogramm generiert, das durch Akkumulation der Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln im Randbereich in Bezug auf das entsprechende Pixel ermittelt wird, und wobei der Tiefenwertverarbeitungsabschnitt Histogramme zusammenfügt, die durch den Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und den Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild generiert worden sind, indem er die Gewichtungen der Histogramme als Gewichtungen betrachtet, die auf dem Zusammenfügungsverhältnis basieren, das durch den Zusammenfügungssteuerabschnitt eingestellt worden ist, und das zusammengefügte Tiefenhistogramm als die zusammengefügten Tiefenverteilungsmerkmalsinformationen betrachtet.
13. (13) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (2) bis (11) beschrieben wird, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild als die Tiefenverteilungsmerkmalsinformationen eine Tiefentabelle generiert, die die Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln in einem Randbereich des vorherigen Bildes in Bezug auf das interessierende Pixel angibt, wobei der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild als die Tiefenverteilungsmerkmalsinformationen eine Tiefentabelle generiert, die die Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln in einem Randbereich des vorherigen Bildes in Bezug auf das entsprechende Pixel angibt, und wobei der Tiefenwertverarbeitungsabschnitt Tiefentabellen zusammenfügt, die durch den Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und den Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild generiert worden sind, indem er die Gewichtungen der Tiefentabellen als Gewichtungen betrachtet, die auf dem Zusammenfügungsverhältnis basieren, das durch den Zusammenfügungssteuerabschnitt eingestellt worden ist, und die zusammengefügte Tiefentabelle als die zusammengefügten Tiefenverteilungsmerkmalsinformationen betrachtet.
14. (14) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (2) bis (13) beschrieben wird, wobei der Tiefenwertverarbeitungsabschnitt als die Zuverlässigkeit der interessierenden Pixel die Zuverlässigkeit betrachtet, die aus dem repräsentativen Tiefenwert berechnet wird, der als der Tiefenwert des interessierenden Pixels behandelt wird, und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes gemäß dem Pixelwert des interessierenden Pixels und dem Pixelwert, dem Tiefenwert und der Zuverlässigkeit von Pixeln im Randbereich in Bezug auf das entsprechende Pixel generiert.
15. (15) Die Bildverarbeitungseinrichtung, wie sie in irgendeinem von (2) bis (14) beschrieben wird, die des Weiteren Folgendes aufweist:
    • einen Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung, der wenigstens eines der beiden, das Eingangsbild oder das vorherige Bild, in ein Bild konvertiert, das sich im Betrachtungspunkt mit dem anderen Bild deckt,
    • wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes unter Verwendung der Bilder generieren, die den gleichen Betrachtungspunkt wie ein Ergebnis der Konvertierung durch den Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung haben. [Industrielle Anwendbarkeit]
• Die Bildverarbeitungseinrichtung gemäß der vorliegenden Technologie stellt einen höchst zuverlässigen Tiefenwert als den Tiefenwert eines interessierenden Pixels gemäß den Pixelinformationen und dem Tiefenwert eines Pixels in einer raumzeitlichen Richtung in Bezug auf ein interessierendes Bild bereit. Dies ermöglicht es, die raumzeitliche Stabilität eines Tiefenbildes zu verbessern. Folglich ist die Bildverarbeitungseinrichtung in Anwendungen verwendbar, bei denen Tiefenbilder mit raumzeitlicher Stabilität erforderlich sind, das heißt, anwendbar für elektronische Einrichtungen (z. B. Mobileinrichtungen und Wearable-Einrichtungen), die zum Beispiel für eine dreidimensionale Nutzerschnittstelle und SLAM (Simultaneous Localization and Mapping, simultane Positionsbestimmung und Kartenerstellung) verwendet werden können.
• Bezugszeichenliste

10

Tiefenbildsystem

15

Tiefenbild-Generierungseinrichtung

20

Bildverarbeitungseinrichtung

21

Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild

22

Speicherabschnitt für das vorherige Führungsbild

23

Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung

24

Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild

25

Zusammenfügungssteuerabschnitt

26

Tiefenwertverarbeitungsabschnitt

27

Speicherabschnitt für das vorherige Tiefenbild

28

Speicherabschnitt für die vorherige Zuverlässigkeitskarte

211

Ähnlichkeitsberechnungsabschnitt für das Eingangsbild

212

Verteilungsmerkmalsinformationsgenerierungsabschnitt für das Eingangsbild

231

Positions-/Stellungsdetektionsabschnitt

232

Speicherabschnitt für die vorherige Position/Stellung

233

Generierungsabschnitt für den Betrachtungspunktkonvertierungsparameter

234

Konvertierungsabschnitt für den Führungsbildbetrachtungspunkt

235

Konvertierungsabschnitt für den Tiefenbildbetrachtungspunkt

241

Ähnlichkeitsberechnungsabschnitt für das vorherige Bild

242, 242a

Verteilungsmerkmalsinformationsgenerierungsabschnitt für das vorherige Bild

251

Differenzgrößenberechnungsabschnitt

252

Zusammenfügungsverhältniseinstellabschnitt

261

Informationszusammenfügungsabschnitt

262

Analyseabschnitt für zusammengefügte Informationen

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2012244396 A [0003]
• JP 2013059016 A [0003]
• Zitierte Nicht-Patentliteratur
• Davison, Andrew J. „Realtime simultaneous localisation and mapping with a single camera“, Computer Vision, 2003, Proceedings, Ninth IEEE International Conference on IEEE 2003 [0084]

Claims (16)

1. Bildverarbeitungseinrichtung, die Folgendes aufweist: einen Tiefenwertverarbeitungsabschnitt, der Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammenfügt, um zusammengefügte Tiefenverteilungsmerkmalsinformationen zu generieren, der einen repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen berechnet und den berechneten repräsentativen Tiefenwert als einen Tiefenwert eines interessierenden Pixels eines Eingangsbildes betrachtet, wobei die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes auf dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf das interessierende Pixel basieren, wobei die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes auf dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf ein Pixel, das der Pixelposition des interessierenden Pixels in einem vorherigen Bild entspricht, basieren, wobei das vorherige Bild ein früheres Bild als das Eingangsbild ist.
2. Bildverarbeitungseinrichtung nach Anspruch 1, die des Weiteren Folgendes aufweist: einen Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild, der die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes generiert; und einen Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild, der die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes generiert, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild für jedes Pixel im Randbereich die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes generiert, indem er den Tiefenwert mit einer Gewichtung verknüpft, die auf der Ähnlichkeit von Pixelinformationen zum interessierenden Pixel basiert, und wobei der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild für jedes Pixel im Randbereich in Bezug auf das entsprechende Pixel die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes generiert, indem er den Tiefenwert mit einer Gewichtung verknüpft, die auf der Ähnlichkeit der Pixelinformationen zum interessierenden Pixel basiert.
3. Bildverarbeitungseinrichtung nach Anspruch 2, die des Weiteren Folgendes aufweist: einen Zusammenfügungssteuerabschnitt, der ein Zusammenfügungsverhältnis gemäß der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel einstellt, wobei der Tiefenwertverarbeitungsabschnitt die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit den Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes in dem Zusammenfügungsverhältnis zusammenfügt, das durch den Zusammenfügungssteuerabschnitt eingestellt worden ist.
4. Bildverarbeitungseinrichtung nach Anspruch 3, wobei der Zusammenfügungssteuerabschnitt bewirkt, dass sich das Zusammenfügungsverhältnis für die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes, die vom Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild generiert worden sind, mit einer Erhöhung der Größe der Pixelinformationsdifferenz zwischen dem interessierenden Pixel und dem entsprechenden Pixel erhöht.
5. Bildverarbeitungseinrichtung nach Anspruch 3, wobei die Pixelinformationen Informationen in Bezug auf Luminanz oder Farbe aufweisen.
6. Bildverarbeitungseinrichtung nach Anspruch 2, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild bewirken, dass sich die Gewichtung mit einer Erhöhung der Ähnlichkeit der Pixelinformationen zum interessierenden Pixel erhöhen.
7. Bildverarbeitungseinrichtung nach Anspruch 2, wobei, falls die Zuverlässigkeit des repräsentativen Tiefenwerts, der durch den Tiefenwertverarbeitungsabschnitt berechnet worden ist, nicht geringer als ein voreingestellter Bestimmungsschwellenwert ist, der Tiefenwertverarbeitungsabschnitt den repräsentativen Tiefenwert als den Tiefenwert des interessierenden Pixels betrachtet.
8. Bildverarbeitungseinrichtung nach Anspruch 7, wobei der Tiefenwertverarbeitungsabschnitt das Verhältnis der Gesamtgewichtung in einem vorbestimmten Tiefenbereich, der auf dem repräsentativen Tiefenwert basiert, zur Gesamtgewichtung der zusammengefügten Tiefenverteilungsmerkmalsinformationen als die Zuverlässigkeit betrachtet.
9. Bildverarbeitungseinrichtung nach Anspruch 7, wobei, falls die Zuverlässigkeit geringer als der voreingestellte Bestimmungsschwellenwert ist, der Tiefenwertverarbeitungsabschnitt den Tiefenwert des interessierenden Pixels als einen ungültigen Wert betrachtet, und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes generiert, indem er Pixel, die den ungültigen Wert angeben, gegenüber Pixeln im Randbereich in Bezug auf das entsprechende Pixel ausschließt.
10. Bildverarbeitungseinrichtung nach Anspruch 7, wobei der Tiefenwertverarbeitungsabschnitt in der Lage ist, den Bestimmungsschwellenwert zu ändern.
11. Bildverarbeitungseinrichtung nach Anspruch 2, wobei der Tiefenwertverarbeitungsabschnitt die zusammengefügten Tiefenverteilungsmerkmalsinformationen als Tiefenwertordnungsinformationen betrachtet und einen Tiefenwert mit einem akkumulierten Mediangewichtungswert als den repräsentativen Tiefenwert behandelt.
12. Bildverarbeitungseinrichtung nach Anspruch 2, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild als die Tiefenverteilungsmerkmalsinformationen ein Tiefenhistogramm generiert, das durch Akkumulation der Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln im Randbereich in Bezug auf das interessierende Pixel ermittelt wird, wobei der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild als die Tiefenverteilungsmerkmalsinformationen für das vorherige Bild ein Tiefenhistogramm generiert, das durch Akkumulation der Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln im Randbereich in Bezug auf das entsprechende Pixel ermittelt wird, und wobei der Tiefenwertverarbeitungsabschnitt Histogramme zusammenfügt, die durch den Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und den Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild generiert worden sind, indem er die Gewichtungen der Histogramme als Gewichtungen betrachtet, die auf dem Zusammenfügungsverhältnis basieren, das durch den Zusammenfügungssteuerabschnitt eingestellt worden ist, und das zusammengefügte Tiefenhistogramm als die zusammengefügten Tiefenverteilungsmerkmalsinformationen betrachtet.
13. Bildverarbeitungseinrichtung nach Anspruch 2, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild als die Tiefenverteilungsmerkmalsinformationen eine Tiefentabelle generiert, die die Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln im Randbereich in Bezug auf das interessierende Pixel angibt, wobei der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild als die Tiefenverteilungsmerkmalsinformationen eine Tiefentabelle generiert, die die Gewichtung jedes Tiefenwerts gemäß dem Tiefenwert und der Gewichtung von Pixeln in einem Randbereich des vorherigen Bildes in Bezug auf das entsprechende Pixel angibt, und wobei der Tiefenwertverarbeitungsabschnitt Tiefentabellen zusammenfügt, die durch den Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und den Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild generiert worden sind, indem er die Gewichtungen der Tiefentabellen als Gewichtungen betrachtet, die auf dem Zusammenfügungsverhältnis basieren, das durch den Zusammenfügungssteuerabschnitt eingestellt worden ist, und die zusammengefügte Tiefentabelle als die zusammengefügten Tiefenverteilungsmerkmalsinformationen betrachtet.
14. Bildverarbeitungseinrichtung nach Anspruch 2, wobei der Tiefenwertverarbeitungsabschnitt als die Zuverlässigkeit des interessierenden Pixels die Zuverlässigkeit betrachtet, die aus dem repräsentativen Tiefenwert berechnet wird, der als der Tiefenwert des interessierenden Pixels behandelt wird, und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes gemäß dem Pixelwert des interessierenden Pixels und dem Pixelwert, dem Tiefenwert und der Zuverlässigkeit von Pixeln im Randbereich in Bezug auf das entsprechende Pixel generiert.
15. Bildverarbeitungseinrichtung nach Anspruch 2, die des Weiteren Folgendes aufweist: einen Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung, der wenigstens eines der beiden, das Eingangsbild oder das vorherige Bild, in ein Bild konvertiert, das sich im Betrachtungspunkt mit dem anderen Bild deckt, wobei der Informationsgenerierungsverarbeitungsabschnitt für das Eingangsbild und der Informationsgenerierungsverarbeitungsabschnitt für das vorherige Bild die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes und die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes unter Verwendung der Bilder generieren, die den gleichen Betrachtungspunkt wie ein Ergebnis der Konvertierung durch den Verarbeitungsabschnitt zur Betrachtungspunktkonvertierung haben.
16. Bildverarbeitungsverfahren, das Folgendes aufweist: Tiefenverteilungsmerkmalsinformationen des Eingangsbildes mit Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes zusammenzufügen, um zusammengefügte Tiefenverteilungsmerkmalsinformationen zu generieren, wobei die Tiefenverteilungsmerkmalsinformationen des Eingangsbildes auf dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf das interessierende Pixel eines Eingangsbildes basieren, wobei die Tiefenverteilungsmerkmalsinformationen des vorherigen Bildes auf dem Pixelwert des interessierenden Pixels und dem Pixelwert und dem Tiefenwert von Pixeln in einem Randbereich in Bezug auf ein Pixel, das der Pixelposition des interessierenden Pixels in einem vorherigen Bild entspricht, basieren, wobei das vorherige Bild ein früheres Bild als das Eingangsbild ist; einen repräsentativen Tiefenwert anhand der zusammengefügten Tiefenverteilungsmerkmalsinformationen zu berechnen; und den berechneten repräsentativen Tiefenwert als einen Tiefenwert des interessierenden Pixels zu betrachten.

Images