DE102017113656A1

DE102017113656A1 - Bildverarbeitungsvorrichtung, bildgebungsvorrichtung und bildverarbeitungsverfahren

Info

Publication number: DE102017113656A1
Application number: DE102017113656.8A
Authority: DE
Inventors: Ryosuke Tsuji
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-22
Filing date: 2017-06-21
Publication date: 2017-12-28
Also published as: GB201708921D0; US10306133B2; CN107707871B; GB2554111A; US20170374272A1; JP2017228082A; JP6800628B2; CN107707871A; GB2554111B

Abstract

Ein Aspekt der vorliegenden Erfindung stellt eine Bildverarbeitungsvorrichtung bereit, die fähig ist zum Verfolgen eines zu verfolgenden Bildbereichs mit hoher Genauigkeit.
Eine Entfernungsverteilungserzeugungseinheit erzeugt Entfernungsinformationen, die eine Entfernung von jedem von Bereichen in ersten Bilddaten bezeichnen. Eine Objektwahrscheinlichkeitsverteilungserzeugungseinheit erzeugt eine Wahrscheinlichkeitsverteilung eines Objekts in den ersten Bilddaten basierend auf Informationen, die eine als das Objekt spezifizierte Position in den ersten Bilddaten bezeichnen, den Entfernungsinformationen und einer Zuverlässigkeit der Entfernungsinformationen. Eine Merkmalsbetragsextraktionseinheit berechnet einen Merkmalsbetrag, der zum Detektieren des Objekts aus zweiten Bilddaten zu verwenden ist, basierend auf der Wahrscheinlichkeitsverteilung.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, eine Bildgebungsvorrichtung und ein Bildverarbeitungsverfahren, die einen zu verfolgenden Bildbereich verfolgen.
Beschreibung der verwandten Technik
Eine sehr nützliche Technik besteht darin, einen Bildbereich eines speziellen Objekts (der hierin nachstehend als Objektbereich bezeichnet wird) aus einem in Zeitreihenweise gelieferten Bild zu extrahieren und den extrahierten Objektbereich in jedem Zeitreihenbild zu verfolgen. Die Technik wird verwendet, um zum Beispiel einen Bereich eines menschlichen Gesichts und einen Bereich eines menschlichen Körpers in einem Bewegtbild zu verfolgen. Eine solche Technik kann in vielfältigen Gebieten verwendet werden, wie etwa einer Telekonferenz, einer Mensch-Maschine-Schnittstelle, Sicherheit, einem Überwachungssystem zum Verfolgen eines beliebigen Objekts und einer Bildkompression.
Ferner erörtern die japanische Patentanmeldungsoffenlegungsschrift Nr. 2005-318554 und die japanische Patentanmeldungsoffenlegungsschrift Nr. 2001-60269 jeweils eine Technik des Extrahierens und Verfolgens des Objektbereichs und des Optimierens eines Fokussierungszustands und/oder eines Belichtungszustands mit Bezug auf den Objektbereich, wenn ein beliebiger Objektbereich in einem aufgenommenen Bild durch Verwendung eines Berührungsfelds oder dergleichen spezifiziert bzw. festgelegt wird. Zum Beispiel erörtert die japanische Patentanmeldungsoffenlegungsschrift Nr. 2005-318554 eine Bildgebungsvorrichtung, die eine Position eines Gesichts aus dem aufgenommenen Bild detektiert (extrahiert) und verfolgt, um auf das Gesicht zu fokussieren und auch ein Bild mit einer optimalen Belichtung aufzunehmen. Ferner erörtert die japanische Patentanmeldungsoffenlegungsschrift Nr. 2001-60269 eine Objektverfolgungsvorrichtung, die ein spezielles Objekt durch Verwendung von Vorlagenabgleich automatisch verfolgt. Wenn der in dem aufgenommenen Bild enthaltene beliebige Bildbereich durch Verwendung einer Eingabeschnittstelle, wie etwa des Berührungsfelds, spezifiziert bzw. festgelegt wird, registriert die in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2001-60269 erörterte Objektverfolgungsvorrichtung den Bildbereich als Vorlagebild. Dann schätzt die Objektverfolgungsvorrichtung einen Bildbereich mit einer höchsten Ähnlichkeit zu oder einer geringsten Differenz von dem Vorlagebild in einem aufgenommenen Bild, und verfolgt sie diesen Bildbereich als den zu verfolgenden Objektbereich.
In einem bereichsbasierten Verfolgungsverfahren wie etwa dem vorstehend beschriebenen Vorlagenabgleich beeinflusst eine Einstellung des zu verfolgenden Bildbereichs (des Vorlagebilds) in hohem Maße die Verfolgungsgenauigkeit. Zum Beispiel, wenn ein Bildbereich, der kleiner ist als ein Bildbereich mit adäquater Größe, als das Vorlagebild verwendet wird, ist ein/eine Merkmalsbetrag/-größe unzureichend, der/die zum Schätzen des zu verfolgenden Objektbereichs erforderlich ist, was eine genaue Verfolgung unmöglich macht. Wenn ein Bildbereich, der größer ist als der Bereich mit adäquater Größe, als das Vorlagebild verwendet wird, kann ein anderes Element als das Objekt, wie etwa ein Hintergrund, in dem Vorlagebild umfasst sein, und kann in diesem Fall fälschlich der Hintergrundbereich verfolgt werden.
Ein denkbares Verfahren besteht zum Beispiel darin, auf Informationen über eine Entfernung von der Kamera zu dem Objekt zusätzlich zu den Bildinformationen Bezug zu nehmen, wodurch verhindert wird, dass das andere Element als das Objekt, wie etwa der Hintergrund, in dem Vorlagebild enthalten ist. In einem solchen Fall, dass sich eine Vielzahl von Objekten in im Wesentlichen gleichen Entfernungen von der Kamera entfernt befinden, kann die Vorrichtung jedoch fälschlich einen anderen Bildbereich (einen anderen Objektbereich) verfolgen, der sich von dem Objektbereich unterscheidet, er verfolgt werden sollte. In einem Fall, in dem der zu verfolgende Bildbereich ein Bild mit einem solchen Muster ist, für das es schwierig ist, die Entfernungsinformationen zu detektieren, ist es schwierig, genaue Entfernungsinformationen zu erfassen, was die Genauigkeit der Detektion des zu verfolgenden Objektbereichs verringert. Zum Beispiel können die Entfernungsinformationen nur mit Bezug auf einen Teilbildbereich in dem aufgenommenen Bild berechnet werden, um eine Verarbeitungslast zu verringern, und ist die genaue Verfolgung unmöglich.
KURZFASSUNG DER ERFINDUNG
Aspekte der vorliegenden Erfindung sind durch die begleitenden unabhängigen Patentansprüche dargelegt.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen deutlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht schematisch eine Konfiguration einer Bildgebungsvorrichtung gemäß einem beispielhaften Ausführungsbeispiel.
2 veranschaulicht schematisch eine Konfiguration einer Objektverfolgungseinheit.
3 ist ein Ablaufdiagramm, das Schritte einer Objektverfolgungsverarbeitung veranschaulicht.
4A veranschaulicht ein Beispiel eines bei Vorlagenabgleich verwendeten Objektmodells, und 4B veranschaulicht ein Gebiet, wo nach einem zu verfolgenden Objektbereich gesucht wird.
5A veranschaulicht ein Beispiel eines Eingabebilds eines A + B-Bilds und eines zu verfolgenden Objekts, 5B veranschaulicht eine Entfernungsverteilung und 5C veranschaulicht ein Beispiel einer Objektwahrscheinlichkeitsverteilung.
6 ist ein Ablaufdiagramm, das Schritte einer Erzeugung der Objektwahrscheinlichkeitsverteilung veranschaulicht.
7A veranschaulicht eine Clusterbildung unter Verwendung von Entfernungsinformationen, und 7B veranschaulicht Klassen in der Objektwahrscheinlichkeitsverteilung.
8 ist ein Ablaufdiagramm, das Schritte einer Bildgebungsverarbeitung veranschaulicht.
BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Unter Bezugnahme auf die begleitenden Zeichnungen wird ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung beschrieben.
Eine Verfolgungs- bzw. Nachführvorrichtung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel kann auf eine Digitalkamera, eine Videokamera und dergleichen angewandt werden, die Daten eines Bewegtbilds und eines Stehbilds, das durch Bildgebung bzw. Abbildung eines Objekts gebildet wird, in verschiedenen Typen von Aufzeichnungsmedien, wie etwa ein Magnetband, einem Halbleiter- bzw. Festkörperspeicher, eine optische Platte und eine Magnetplatte, aufzeichnen kann. Daneben kann die Verfolgungs- bzw. Nachführvorrichtung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel auch auf verschiedene Typen von tragbaren Endgeräten, wie etwa ein mit einer Kamerafunktion ausgestattetes Smartphone und Tablet-Endgerät, verschiedene Typen von Bildgebungsvorrichtungen, wie etwa eine Kamera zur industriellen Verwendung, eine Fahrzeugkamera und eine Kamera zur medizinischen Verwendung, und Anzeigevorrichtungen, die ein Bewegtbild und dergleichen anzeigen, angewandt werden.
<Schematische Konfiguration von Bildgebungsvorrichtung>
Eine schematische Konfiguration einer Bildgebungsvorrichtung 100, die ein Beispiel der Anwendung der Verfolgungs- bzw. Nachführvorrichtung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel darstellt, wird unter Bezugnahme auf 1 beschrieben.
Wie es nachstehend ausführlich beschrieben ist, hat die Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel eine Objektverfolgungsfunktion zum Extrahieren bzw. Gewinnen eines Bildbereichs eines speziellen Objekts (eines Objektbereichs) aus einem Bild, das sequentiell in Zeitreihenweise geliefert wird, und Verfolgen des Objektbereichs als ein Ziel der Verfolgung bzw. Nachführung. Wenn der spezielle Objektbereich verfolgt wird, schätzt die Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel eine Entfernung von der Bildgebungsvorrichtung 100 zu dem Objekt durch Verwendung von nachstehend beschriebenen Parallaxenbildern, und schätzt sie den speziellen Objektbereich basierend auf Informationen über die geschätzte Entfernung.
Alle Einheiten in der Bildgebungsvorrichtung 100 sind über einen Bus 160 verbunden. Jede der Einheiten wird durch eine Zentralverarbeitungseinheit (CPU) 151 steuerbar. Eine Linsen- bzw. Objektiveinheit 101 der Bildgebungsvorrichtung 100 umfasst eine feste Erste-Gruppe-Linse 102, eine Zoomlinse 111, eine Blende 103, eine feste Dritte-Gruppe-Linse 121 und eine Fokuslinse 131. Eine Blendensteuerschaltung 105 stellt einen Öffnungsdurchmesser der Blende 103 ein, um eine Lichtmenge zu der Zeit der Bildgebung einzustellen, indem sie die Blende 103 über einen Blendenmotor 104 (AM) gemäß einer Anweisung von der CPU 151 antreibt. Eine Zoomsteuerschaltung 113 ändert eine Brennweite, indem sie die Zoomlinse 111 über einen Zoommotor 112 (ZM) antreibt. Eine Fokussteuerschaltung 133 führt eine Fokussierungseinstellung durch, indem sie einen Antriebsbetrag, mit dem ein Fokusmotor 132 (FM) angetrieben wird, basierend auf einem Betrag einer Verschiebung der Linseneinheit 101 in einer Fokussierungsrichtung bestimmt und die Fokuslinse 131 über den Fokusmotor 132 gemäß dem Antriebsbetrag antreibt. Auf diese Art und Weise führt die Fokussteuerschaltung 133 eine Autofokus-(AF-)Steuerung durch, indem sie eine Bewegung der Fokuslinse 131 über den Fokusmotor 132 basierend auf dem Betrag einer Verschiebung der Linseneinheit 101 in der Fokussierungsrichtung steuert. Die Fokuslinse 131 ist eine Linse zur Fokuseinstellung, und sie ist in 1 einfach als eine einzelne Linse veranschaulicht, aber umfasst generell eine Vielzahl von Linsen. Ein optisches Bild des Objekts, eines Hintergrunds und dergleichen wird durch die auf diese Art und Weise konfigurierte Linseneinheit 101 auf einer Bildgebungs- bzw. Abbildungsebene eines Bildsensors 141 gebildet.
Der Bildsensor 141 wandelt das optische Bild des Objekts, des Hintergrunds und dergleichen, das auf der Bildgebungs- bzw. Abbildungsebene gebildet wird, fotoelektrisch in ein elektrisches Signal. Ein Bildgebungsbetrieb des Bildsensors 141 wird durch eine Bildgebungssteuerschaltung 143 gesteuert. Der Bildsensor 141 umfasst ein Feld bzw. Array aus einer Vielzahl von Pixeln, die fähig sind zum Erzeugen der Parallaxenbilder durch eine Vielzahl von fotoelektrischen Wandlungselementen (in dem vorliegenden beispielhaften Ausführungsbeispiel ersten und zweiten fotoelektrischen Wandlungselementen), die konfiguriert sind, dass sie eine Mikrolinse teilen bzw. gemeinsam benutzen. Im Speziellen sind in dem Bildsensor 141 die ersten und zweiten fotoelektrischen Wandlungselemente (ein Lichtempfangsbereich) in jedem der m×n Pixel eingerichtet, wobei m Pixel in einer horizontalen Richtung angeordnet sind und n Pixel in einer vertikalen Richtung angeordnet sind. Ein Bildsignal, in das das optische Bild fotoelektrisch gewandelt wird, nachdem es auf der Bildgebungs- bzw. Abbildungsebene des Bildsensors 141 gebildet wird, wird an eine Bildgebungssignalverarbeitungsschaltung 142 übertragen. Für die Konfiguration und das optische Prinzip des Bildsensors 141, der auf diese Art und Weise eingerichtet ist, kann eine bekannte Technik eingesetzt werden, die zum Beispiel in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2008-15754 erörtert ist.
Die Bildgebungssignalverarbeitungsschaltung 142 erfasst das Bildsignal (die aufgenommenen Bilddaten), das dem auf der Bildgebungs- bzw. Abbildungsebene gebildeten optischen Bild entspricht, indem sie Ausgaben von den ersten und zweiten fotoelektrischen Wandlungselementen für jedes der Pixel addiert. Die Bildgebungssignalverarbeitungsschaltung 142 erfasst Signale von zwei Bildern (den Parallaxenbildern) mit einer Parallaxe, indem sie die Ausgaben von den ersten und zweiten fotoelektrischen Wandlungselementen für jedes der Pixel einzeln behandelt. In der Beschreibung des vorliegenden beispielhaften Ausführungsbeispiels wird das aufgenommene Bild, das durch Addition der Ausgaben von den ersten und zweiten fotoelektrischen Wandlungselementen für jedes der Pixel erfasst wird, als ein "A + B-Bild" bezeichnet, und werden die Parallaxenbilder, die jeweils durch individuelle Behandlung der Ausgaben von den zwei fotoelektrischen Wandlungselementen für jedes der Pixel erfasst werden, als ein "A-Bild" und ein "B-Bild" bezeichnet. Der Bildsensor 141 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel umfasst die ersten und zweiten fotoelektrischen Wandlungselemente, die so angeordnet sind, dass sie in einer Querrichtung (der horizontalen Richtung) gereiht sind, und daher sind das A-Bild und das B-Bild Bilder mit einer Parallaxe in der horizontalen Richtung. Aufgenommene Bilddaten von dem A + B-Bild und Parallaxenbilddaten des A-Bilds und des B-Bilds, die von der Bildgebungssignalverarbeitungsschaltung 142 ausgegeben werden, werden über die Bildgebungssteuerschaltung 143 an einen Direktzugriffsspeicher (RAM) 154 übertragen und in dem RAM 154 vorübergehend gespeichert. Wenn die Bildgebungsvorrichtung 100 ein Bewegtbild aufnimmt oder fortlaufend ein Stehbild jedes Mal dann aufnimmt, wenn ein vorbestimmtes Zeitintervall verstreicht, werden die aufgenommenen Bilddaten des A + B-Bilds und die Parallaxenbilddaten des A-Bilds und des B-Bilds von der Bildgebungssignalverarbeitungsschaltung 142 sequentiell ausgegeben und in dem RAM 154 gespeichert.
Die aufgenommenen Bilddaten des A + B-Bilds von den in dem RAM 154 gespeicherten Bilddaten werden an eine Bildverarbeitungsschaltung 152 übertragen. Die Bildverarbeitungsschaltung 152 führt verschiedene Arten von Bildverarbeitung, wie etwa einer Gammakorrektur und einer Weißabgleichverarbeitung, auf den aus dem RAM 154 ausgelesenen aufgenommenen Bilddaten durch. Die Bildverarbeitungsschaltung 152 führt auch eine Verarbeitung zum Verkleinern oder Vergrößern der verarbeiteten Bilddaten auf eine optimale Größe zum Anzeigen der Bilddaten auf einer Monitoranzeige 150 durch. Die Bilddaten, deren Größe durch die Verkleinerungs-/Vergrößerungsverarbeitung auf die optimale Größe festgelegt ist, werden an die Monitoranzeige 150 übertragen, und ein Bild von diesen wird darauf angezeigt. Ein Bediener der Bildgebungsvorrichtung 100 (der hierin nachstehend als Benutzer bezeichnet wird) kann das aufgenommene Bild in Echtzeit betrachten, indem er das auf der Monitoranzeige 150 angezeigte Bild anschaut. Wenn die Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel eingestellt ist, um das aufgenommene Bild auf einem Bildschirm der Monitoranzeige 150 nur für eine vorbestimmte Zeitdauer anzuzeigen, unmittelbar nachdem das Bild aufgenommen wird, kann der Benutzer dieses aufgenommene Bild bestätigen bzw. prüfen, unmittelbar nachdem das Bild aufgenommen wird. Die aufgenommenen Bilddaten des A + B-Bilds, die in dem RAM 154 gespeichert sind, werden auch an eine Bildkompressions-/-dekompressionsschaltung 153 übertragen. Die Bildkompressions-/-dekompressionsschaltung 153 komprimiert die aus dem RAM 154 ausgelesenen aufgenommenen Bilddaten und überträgt danach die komprimierten Bilddaten an ein Bildaufzeichnungsmedium 157, das als ein Aufzeichnungsmedium dient. Das Bildaufzeichnungsmedium 157 zeichnet die komprimierten Bilddaten auf.
Die Parallaxenbilddaten des A-Bilds und des B-Bilds der in dem RAM 154 gespeicherten Bilddaten werden an die Fokussteuerschaltung 133 übertragen. Die Fokussteuerschaltung 133 führt die AF-Steuerung durch, indem sie den Verschiebungsbetrag der Linseneinheit 101 in der Fokussierungsrichtung aus den Parallaxenbildern des A-Bilds und des B-Bilds erfasst und die Fokuslinse 131 über den Fokusmotor 132 so antreibt, dass die Verschiebung in der Fokussierungsrichtung eliminiert wird.
Ein Bedienungsschalter 156 ist eine Eingabeschnittstelle, die ein Berührungsfeld, verschiedene Arten von Tasten und Schaltern umfasst. Die Tasten und die Schalter sind in einem Gehäuse oder dergleichen von der Bildgebungsvorrichtung 100 bereitgestellt, und das Berührungsfeld ist auf einer Anzeigeoberfläche der Monitoranzeige 150 eingerichtet. Die Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel kann verschiedene Funktionssymbole auf dem Bildschirm der Monitoranzeige 150 anzeigen, und diese verschiedenen Funktionssymbole werden durch den Benutzer über das Berührungsfeld ausgewählt und betätigt. Bedienungsinformationen, die durch den Benutzer über den Bedienungsschalter 156 eingegeben werden, werden über den Bus 160 an die CPU 151 übertragen.
Wenn die Bedienungsinformationen durch den Benutzer über den Bedienungsschalter 156 eingegeben werden, steuert die CPU 151 jeder der Einheiten basierend auf den Bedienungsinformationen. Wenn der Bildsensor 141 das Bild aufnimmt, bestimmt die CPU 151 eine Zeitdauer, während derer der Bildsensor 141 elektrische Ladungen ansammelt, einen Einstellwert einer Verstärkung, wenn die Bilddaten von dem Bildsensor 141 an die Bildgebungssignalverarbeitungsschaltungen 142 ausgegeben werden, und dergleichen. Im Speziellen bestimmt die CPU 151 die Ansammlungszeitdauer des Bildsensors 141, den Einstellwert der Ausgabeverstärkung und dergleichen basierend auf einer Anweisung gemäß den Bedienungsinformationen, die durch den Benutzer über den Bedienungsschalter 156 eingegeben werden, oder einer Größe eines Pixelwerts der Bilddaten, die in dem RAM 154 vorübergehend gespeichert sind. Die Bildgebungssteuerschaltung 143 empfängt Anweisungen, die die Ansammlungszeitdauer und den Einstellwert der Verstärkung bezeichnen, von der CPU 151, und steuert den Bildsensor 141 gemäß diesen Anweisungen.
Eine Batterie 159 wird durch eine Energiemanagementschaltung 158 auf geeignete Weise verwaltet bzw. geregelt, und liefert Energie bzw. Leistung stabil an die gesamte Bildgebungsvorrichtung 100. Ein Flashspeicher 155 speichert ein Steuerprogramm, das für den Betrieb der Bildgebungsvorrichtung 100 erforderlich ist. Wenn die Bildgebungsvorrichtung 100 gemäß der Benutzerbedienung in Betrieb genommen wird (wenn die Bildgebungsvorrichtung 100 von einem Ausschaltzustand in einen Einschaltzustand wechselt), wird das in dem Flashspeicher 155 gespeichertes Steuerprogramm in einen Teil von dem RAM 154 gelesen (geladen). Als Ergebnis hiervon steuert die CPU 151 den Betrieb der Bildgebungsvorrichtung 100 gemäß dem in den RAM 154 geladenen Steuerprogramm.
In der Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel werden die aufgenommenen Bilddaten des A + B-Bilds und die Parallaxenbilddaten des A-Bilds und des B-Bilds, die in dem RAM 154 gespeichert sind, auch an eine Objektverfolgungsschaltung 161 übertragen. Die Objektverfolgungsschaltung 161 ist eine Einheit, die der Verfolgungs- bzw. Nachführvorrichtung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel entspricht. In der folgenden Beschreibung werden die aufgenommenen Bilddaten des A + B-Bilds, die an die Objektverfolgungsschaltung 161 eingegeben werden, als Eingabebilddaten bezeichnet. Wie es nachstehend ausführlich beschrieben ist, verfolgt die Objektverfolgungsschaltung 161 den speziellen Objektbereich, während sie diesen verfolgten speziellen Objektbereich aus dem Eingabebild des A + B-Bilds, das von dem RAM 154 ausgelesenen und in Zeitreihenweise sequentiell eingegeben wird, extrahiert bzw. gewinnt und ausgibt. Wie es hierin nachstehend ausführlich beschrieben ist, schätzt die Objektverfolgungsschaltung 161 die Entfernung von der Bildgebungsvorrichtung 100 zu dem Objekt oder dergleichen basierend auf den Parallaxenbildern des A-Bilds und des B-Bilds, und verwendet sie die Entfernungsinformationen beim Verfolgen des speziellen Objektbereichs.
Informationen, die ein Ergebnis der Objektverfolgung durch die Objektverfolgungsschaltung 161 bezeichnen, d.h. Informationen über den verfolgten und extrahierten bzw. gewonnenen speziellen Objektbereich, werden über den Bus 160 an jeder der Einheiten übertragen, wie etwa die Fokussteuerschaltung 133, die Blendensteuerschaltung 105, die Bildverarbeitungsschaltung 152 und die CPU 151. Unter einer solchen Bildgebungsbedingung, dass das dem verfolgten speziellen Objektbereich entsprechende Objekt als ein Ziel für die AF-Steuerung eingestellt ist, führt die Fokussteuerschaltung 133 die AF-Steuerung durch, sodass das Objekt in den Fokus bzw. Brennpunkt gebracht wird. Die Blendensteuerschaltung 105 verwendet einen Luminanzwert des verfolgten speziellen Objektbereichs, um eine Belichtungssteuerung unter einer solchen Bildgebungsbedingung durchzuführen, dass der Objektbereich mit einer geeigneten Helligkeit aufgenommen bzw. abgebildet werden kann. Die Bildverarbeitungsschaltung 152 führt eine derartige Bildverarbeitung durch, dass der spezielle Objektbereich einer optimalen Gammakorrektur und einer optimalen Weißabgleichverarbeitung unterzogen wird. Die CPU 151 führt eine solche Anzeigesteuerung durch, dass zum Beispiel ein rechteckiges Bild, das den verfolgten speziellen Objektbereich umschließt, angezeigt wird, während es auf dem aufgenommenen Bild, das auf dem Bildschirm der Monitoranzeige 150 angezeigt wird, überlagert bzw. eingeblendet wird.
<Schematische Konfiguration von Objektverfolgungsschaltung>
Eine Konfiguration und ein Betrieb der Objektverfolgungsschaltung 161 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel werden beschrieben. 2 veranschaulicht eine schematische Konfiguration der Objektverfolgungsschaltung 161.
Die in 2 veranschaulicht Objektverfolgungsschaltung 161 umfasst eine Abgleichschaltung 201, eine Merkmalsextraktionsschaltung 202, eine Entfernungsverteilungserzeugungsschaltung 203 und eine Objektwahrscheinlichkeitsverteilungserzeugungsschaltung 204. In der folgenden Beschreibung wird die Objektwahrscheinlichkeitsverteilungserzeugungsschaltung 204 als die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 bezeichnet, um die Beschreibung zu vereinfachen. Die Merkmalsextraktionsschaltung 202 und die Abgleichschaltung 201 stellen ein Beispiel einer Schätzeinheit gemäß dem vorliegenden beispielhaften Ausführungsbeispiel dar. Die Eingabebilddaten des A + B-Bilds und die Parallaxenbilddaten des A-Bilds und des B-Bilds, die sequentiell von dem RAM 154 ausgelesenen und zugeführt werden, werden an die Abgleichschaltung 201 und die Merkmalsextraktionsschaltung 202 beziehungsweise an die Entfernungsverteilungserzeugungsschaltung 203 übertragen.
Die Merkmalsextraktionsschaltung 202 stellt ein Beispiel einer Berechnungseinheit dar, und die extrahiert bzw. gewinnt einen Merkmalsbetrag des zu verfolgenden Objektbereichs aus den Eingabebilddaten des A + B-Bilds basierend auf Informationen über eine Objektwahrscheinlichkeitsverteilung, die von der nachstehend zu beschreibenden Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 geliefert werden, und überträgt Informationen über den Merkmalsbetrag an die Abgleichschaltung 201. Bei dem vorliegenden beispielhaften Ausführungsbeispiel ist der zu verfolgende Objektbereich zum Beispiel ein Bildbereich, der einem durch den Benutzer spezifizierten bzw. festgelegten speziellen Objekt in dem aufgenommenen Bild entspricht, das auf dem Bildschirm der Monitoranzeige 150 angezeigt wird. Die Abgleichschaltung 201 schätzt den zu verfolgenden Objektbereich, indem sie eine Abgleichverarbeitung auf dem Eingabebild des A + B-Bilds durch Verwendung des Merkmalsbetrags des Objektbereichs durchführt, der durch die Merkmalsextraktionsschaltung 202 extrahiert wird. Dieser Objektbereich, der durch die Abgleichschaltung 201 geschätzt wird, ist der zu verfolgende spezielle Objektbereich in dem Eingabebild des A + B-Bilds, das sequentiell an die Objektverfolgungsschaltung 161 eingegeben wird. Einzelheiten der Verarbeitung zum Extrahieren des Merkmalsbetrags durch die Merkmalsextraktionsschaltung 202 und der Abgleichverarbeitung durch die Abgleichschaltung 201 werden nachstehend beschrieben.
Die Entfernungsverteilungserzeugungsschaltung 203 stellt ein Beispiel einer Erfassungseinheit gemäß dem vorliegenden beispielhaften Ausführungsbeispiel dar, und sie berechnet die Entfernung von der Bildgebungsvorrichtung 100 zu dem Objekt oder dergleichen mit Bezug auf einen vorbestimmten Bereich in dem Eingabebild des A + B-Bilds basierend auf den Parallaxenbildern des A-Bilds und des B-Bilds und erzeugt eine Entfernungsverteilung aus den Entfernungsinformationen. In dem Fall des vorliegenden beispielhaften Ausführungsbeispiels ist der vorbestimmte Bereich zum Beispiel ein Bereich, der jedem der Pixel in dem Eingabebild des A + B-Bilds entspricht. Daher berechnet die Entfernungsverteilungserzeugungsschaltung 203 jedes Element von Entfernungsinformationen, das einem der Pixel in dem Eingabebild des A + B-Bilds entspricht, durch Verwendung der Parallaxenbilder des A-Bilds und des B-Bilds, und erzeugt sie die Entfernungsverteilung, die eine Verteilung der Elemente von Entfernungsinformationen über diese einzelnen Pixel bezeichnet. Der vorbestimmte Bereich kann ein Bereich eines kleinen Blocks sein, der durch Unterteilung des Eingabebilds in eine Vielzahl von Blöcken erhalten wird. Einzelheiten der Verarbeitung zum Erzeugen der Entfernungsverteilung werden nachstehend beschrieben. Die durch die Entfernungsverteilungserzeugungsschaltung 203 erzeugten Entfernungsverteilungsinformationen werden an die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 übertragen.
Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 stellt ein Beispiel einer Erzeugungseinheit dar, und auch durch die Abgleichschaltung 201 extrahierte Informationen, die den speziellen Objektbereich bezeichnen, werden an die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 geliefert. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 erzeugt die Objektwahrscheinlichkeitsverteilung, die eine Verteilung von Wahrscheinlichkeiten bezeichnet, dass der zu verfolgende Bildbereich der spezielle Objektbereich ist, basierend auf den Entfernungsverteilungsinformationen von der Entfernungsverteilungserzeugungsschaltung 203 und den Informationen über den Objektbereich von der Abgleichschaltung 201. Einzelheiten der Verarbeitung, in der die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 die Objektwahrscheinlichkeitsverteilung basierend auf den Entfernungsverteilungsinformationen und den Informationen über den Objektbereich erzeugt, werden nachstehend beschrieben. Informationen über die Objektwahrscheinlichkeitsverteilung, die durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 erzeugt werden, werden an die Merkmalsextraktionsschaltung 202 übertragen.
Die Merkmalsextraktionsschaltung 202 schätzt den zu verfolgenden Objektbereich aus dem Eingabebild des A + B-Bilds durch Verwendung der Informationen über die Objektwahrscheinlichkeitsverteilung und extrahiert bzw. gewinnt den Merkmalsbetrag des geschätzten Objektbereichs. Einzelheiten der Verarbeitung zum Schätzen des Objektbereichs durch Verwendung der Objektwahrscheinlichkeitsverteilung und Extrahieren bzw. Gewinnen des Merkmalsbetrags werden nachstehend beschrieben. In dem Fall des vorliegenden beispielhaften Ausführungsbeispiels kann die Merkmalsextraktionsschaltung 202 den Merkmalsbetrag des Objektbereichs mit hoher Genauigkeit extrahieren, indem sie die Informationen über die Objektwahrscheinlichkeitsverteilung verwendet, wenn sie den zu verfolgenden Objektbereich schätzt.
Die Schaltungskonfiguration der Objektverfolgungsschaltung 161 ist beschrieben, aber anstelle der Objektverfolgungsschaltung 161 kann die CPU 151 eine Softwareverarbeitung durchführen, die eine Funktion verwirklicht, die ähnlich zu derjenigen der Objektverfolgungsschaltung 161 ist.
<Ablauf von Objektverfolgungsverarbeitung>
3 ist ein Ablaufdiagramm, das einen Ablauf der Objektverfolgungsverarbeitung veranschaulicht, die durch die Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel durchgeführt wird. Die in dem Ablaufdiagramm von 3 veranschaulichte Verarbeitung beginnt, wenn die Bildgebung an der Bildgebungsvorrichtung 100 gestartet wird. Jeder Verarbeitungsschritt, der in dem Ablaufdiagramm von 3 veranschaulicht ist, kann zum Beispiel dadurch verwirklicht werden, dass die CPU 151 ein Programm gemäß dem vorliegenden beispielhaften Ausführungsbeispiel ausführt.
In Schritt S301, der in dem Ablaufdiagramm von 3 veranschaulicht ist, bestimmt die CPU 151, ob eine Verfolgungsstartzeit gekommen ist. Bei dem vorliegenden beispielhaften Ausführungsbeispiel ist die Verfolgungsstartzeit zum Beispiel eine Zeit, zu der der Benutzer eine Bedienung des Gebens einer Anweisung zum Starten einer Verfolgung des Objekts über das Berührungsfeld des Bedienungsschalters 156 vornimmt. Bei dem vorliegenden beispielhaften Ausführungsbeispiel ist die Benutzerbedienung des Gebens der Anweisung zum Starten einer Verfolgung des Objekts eine Positionsspezifizierungsbedienung, in der zum Beispiel der Benutzer eine Position eines gewünschten Objekts in dem Bild berührt, das auf dem Bildschirm der Monitoranzeige 151 angezeigt wird. Wenn die CPU 151 in Schritt S301 bestimmt (JA in Schritt S301), dass die Verfolgungsstartzeit gekommen ist, schreitet die Verarbeitung zu Schritt S302 voran. Wenn die CPU 151 bestimmt (NEIN in Schritt S301), dass die aktuelle Zeit nicht die Verfolgungsstartzeit ist und die Objektverfolgungsverarbeitung bereits läuft, schreitet die Verarbeitung zu Schritt S305 voran. Schritte S302 und S305 und darauffolgende Schritte, die in dem Ablaufdiagramm von 3 veranschaulicht sind, stellen eine Verarbeitung dar, die durch die Objektverfolgungsschaltung 161 durchgeführt wird.
Die Beschreibung des vorliegenden Ablaufdiagramms beginnt mit einer Verarbeitung, die durch die Objektverfolgungsschaltung 161 durchgeführt wird, wenn die CPU 151 in Schritt S301 bestimmt, dass die Verfolgungsstartzeit gekommen ist, und die Verarbeitung zu einer Verarbeitung in Schritt S302 und den darauffolgenden Schritten voranschreitet.
In Schritt S302 berechnet die Entfernungsverteilungserzeugungsschaltung 203 der Objektverfolgungsschaltung 161 die Entfernung von der Bildgebungsvorrichtung 100 zu dem Objekt oder dergleichen mit Bezug auf jedes der Pixel in dem Eingabebild des A + B-Bilds basierend auf den Parallaxenbilden des A-Bilds und des B-Bilds, und erzeugt sie die Entfernungsverteilung aus den Entfernungsinformationen. In dem Fall, in dem der vorbestimmte Bereich zum Beispiel der Bereich des kleinen Blocks ist, der durch Unterteilung des Eingabebilds in die Vielzahl von Blöcken erhalten wird, erzeugt die Entfernungsverteilungserzeugungsschaltung 203 die Entfernungsverteilung aus den Entfernungsinformationen über jeden dieser kleinen Blöcke. Nach Schritt S302 schreitet die durch die Objektverfolgungsschaltung 161 durchgeführte Verarbeitung zu einer Verarbeitung in Schritt S303 voran, die durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 durchgeführt wird.
In Schritt S303 erzeugt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 die Objektwahrscheinlichkeitsverteilung basierend auf den Informationen über die Entfernungsverteilung, die von der Entfernungsverteilungserzeugungsschaltung 203 geliefert werden, und Informationen über eine Objektverfolgungsposition. Die Objektverfolgungsposition zu der Verfolgungsstartzeit ist eine Position, wenn der Benutzer zum Beispiel den gewünschten Objektbereich in dem Bild berührt, das zu der Verfolgungsstartzeit auf dem Bildschirm der Monitoranzeige 150 angezeigt wird. In dem Fall des vorliegenden beispielhaften Ausführungsbeispiels werden die Bedienungsinformationen, wenn der Benutzer den Bildschirm auf der Monitoranzeige 150 berührt, von dem Berührungsfeld an die CPU 151 übertragen, und erzeugt die CPU 151 die Informationen über die Objektverfolgungsposition basierend auf den Bedienungsinformationen, und benachrichtigt sie die Objektverfolgungsschaltung 161. In dem in 2 veranschaulichten Beispiel sind die Informationen über die Objektverfolgungsposition, über die die Objektverfolgungsschaltung 161 durch die CPU 151 informiert wird, aus der Veranschaulichung weggelassen. Einzelheiten der Verarbeitung zum Erzeugen der Objektwahrscheinlichkeitsverteilung basierend auf der Entfernungsverteilung und der Objektverfolgungsposition in Schritt S303 werden nachstehend beschrieben. Nach Schritt S303 schreitet die durch die Objektverfolgungsschaltung 161 durchgeführte Verarbeitung zu einer Verarbeitung in Schritt S304 voran, die durch die Merkmalsextraktionsschaltung 202 durchgeführt wird.
In Schritt S304 schätzt die Merkmalsextraktionsschaltung 202 der Objektverfolgungsschaltung 161 den zu verfolgenden Objektbereich durch Verwendung der in Schritt S303 erzeugten Objektwahrscheinlichkeitsverteilung und, zum Beispiel, Farbinformationen über das Eingabebild des A + B-Bilds, und extrahiert sie den Merkmalsbetrag des geschätzten Objektbereichs. Bei Abschluss der Verarbeitung zum Extrahieren des Merkmalsbetrags in Schritt S304 beendet die Objektverfolgungsschaltung 161 die in dem Ablaufdiagramm von 3 veranschaulichte Verarbeitung.
Es wird nun eine Beschreibung über eine Verarbeitung gegeben, die durch die Objektverfolgungsschaltung 161 durchgeführt wird, wenn die CPU 151 in Schritt S301 bestimmt, dass die aktuelle Zeit nicht die Verfolgungsstartzeit ist und die Objektverfolgung läuft, und die Verarbeitung zu einer Verarbeitung in Schritt S305 und den darauffolgenden Schritten voranschreitet.
In Schritt S305 schätzt die Abgleichschaltung 201 der Objektverfolgungsschaltung 161 den speziellen Objektbereich aus jedem Eingabebild des A + B-Bilds, das aus dem RAM 154 ausgelesenen und sequentiell eingegeben wird, und gibt sie Daten, die den Objektbereich bezeichnen, sequentiell aus. Nach Schritt S305 schreitet die durch die Objektverfolgungsschaltung 161 durchgeführte Verarbeitung zu der Verarbeitung in Schritten S302 bis S304 und darauffolgenden Schritten voran. Die Verarbeitung in Schritten S305 bis S304 wird jedes Mal dann durchgeführt, wenn ein Eingabebild des A + B-Bilds aus dem RAM 154 ausgelesenen und sequentiell eingegeben wird.
Wenn die Verarbeitung von Schritt S305 zu Schritt S302 voranschreitet, erfasst die Entfernungsverteilungserzeugungsschaltung 203 in Schritt S302 die Entfernungsinformationen über jedes der Pixel in dem Eingabebild des A + B-Bilds basierend auf den Parallaxenbilden des A-Bilds und des B-Bilds, und erzeugt sie die Entfernungsverteilung, in einer ähnlichen Art und Weise zu der vorstehenden Beschreibung.
In Schritt S303 erzeugt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 die Objektwahrscheinlichkeitsverteilung basierend auf den Informationen über die Entfernungsverteilung, die von der Entfernungsverteilungserzeugungsschaltung 203 geliefert werden, und den Informationen über die Objektverfolgungsposition. Es wird jedoch eine Position des Objektbereichs, der in der durch die Abgleichschaltung 201 durchgeführten Abgleichverarbeitung extrahiert wird, als die Objektverfolgungsposition verwendet, wenn die Objektverfolgung bereits läuft. Mit anderen Worten wird die Objektverfolgungsposition in Schritt S303 sequentiell auf die Position basierend auf dem in Schritt S305 geschätzten Objektbereich aktualisiert. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 überträgt die Informationen über die Objektwahrscheinlichkeitsverteilung, die durch Verwendung der Positionsinformationen über den Objektbereich, der durch die Abgleichschaltung 201 extrahiert wird, und den Informationen über die vorstehend beschriebene Entfernungsverteilung erzeugt werden, an die Merkmalsextraktionsschaltung 202. In Schritt S304 extrahiert die Merkmalsextraktionsschaltung 202 den Merkmalsbetrag in einer ähnlichen Art und Weise zu der vorstehenden Beschreibung.
Wie es vorstehend beschrieben ist, schreitet die durch die Objektverfolgungsschaltung 161 durchgeführte Verarbeitung jedes Mal dann zu Schritten S302 bis S304 voran, wenn der spezielle Objektbereich in Schritt S305 extrahiert wird, falls die CPU 151 in Schritt S301 bestimmt, dass die aktuelle Zeit nicht die Verfolgungsstartzeit ist und die Objektverfolgung läuft, und die Verarbeitung zu der Verarbeitung in Schritt S305 und den darauffolgenden Schritten voranschreitet. Die durch die Entfernungsverteilungserzeugungsschaltung 203 in Schritt S302 erfasste Entfernungsverteilung, die durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 in Schritt S303 erfasste Objektwahrscheinlichkeitsverteilung und der durch die Merkmalsextraktionsschaltung 202 in Schritt S304 erfasste Merkmalsbetrag werden alle sequentiell aktualisiert. Bei Abschluss der Verarbeitung zum Extrahieren des Merkmalsbetrags in Schritt S304 beendet die Objektverfolgungsschaltung 161 die in dem Ablaufdiagramm von 3 veranschaulichte Verarbeitung.
Die Objektverfolgungseinheit 161 kann konfiguriert sein zum Verfolgen bzw. Nachführen des Objekts aus jedem Eingabebild durch Verwendung des Merkmalsbetrags, der basierend auf dem aus dem ersten Eingabebild (einem Referenzbild) extrahierten Objektbereich erfasst wird, ohne den Merkmalsbetrag zu aktualisieren, indem sie die Verarbeitung in Schritten S302 bis S304 auf jedem sequentiell gelieferten Eingabebild durchführt, nachdem der Objektbereich zu der Verfolgungsstartzeit extrahiert ist. In diesem Fall erzeugt die Entfernungsverteilungserzeugungsschaltung 203 die Entfernungsverteilung, die die Entfernung von jedem der Pixel in dem Referenzbild bezeichnet. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 erzeugt die Objektwahrscheinlichkeitsverteilung, die die Wahrscheinlichkeit als das Objekt in dem Referenzbild bezeichnet, basierend auf der Entfernung zu der Position, die als das zu verfolgende Objekt in dem Referenzbild spezifiziert ist, und der Entfernungsverteilung. Die Merkmalsextraktionsschaltung 202 schätzt den dem Objekt entsprechenden Bildbereich aus dem Referenzbild basierend auf der Objektwahrscheinlichkeitsverteilung und berechnet den Merkmalsbetrag, der zur Verfolgung des Objekts zu verwenden ist, durch Verwendung des Bildbereichs als Vorlage. Selbst in diesem Fall extrahiert die Bildgebungsvorrichtung 100 den Objektbereich basierend auf den Informationen über die Objektwahrscheinlichkeitsverteilung, wenn sie den Merkmalsbetrag in dem Referenzbild extrahiert, und kann sie daher den zu verfolgenden Objektbereich mit hoher Genauigkeit verfolgen.
<Einzelheiten von Abgleichschaltung von Objektverfolgungsschaltung>
Die Einzelheiten der Verarbeitung, die durch die Abgleichschaltung 201 der Objektverfolgungsschaltung 161 durchgeführt wird, werden nun beschrieben. Die Abgleichschaltung 201 schätzt den zu verfolgenden Objektbereich und extrahiert bzw. gewinnt den Objektbereich aus jedem Eingabebild des A + B-Bilds, das von dem RAM 154 sequenziell geliefert wird, durch Verwendung des durch die Merkmalsextraktionsschaltung 202 extrahierten bzw. gewonnenen Merkmalsbetrags.
Die Abgleichschaltung 201 schätzt den Objektbereich, indem sie einen Abgleich hinsichtlich des Merkmalsbetrags eines Teilbereichs in dem Eingabebild des A + B-Bild durchführt. Es gibt eine breite Vielfalt von Merkmalsbetragsabgleichverfahren. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird die Abgleichverarbeitung beispielhaft unter Anführung eines Beispiels beschrieben, das ein Abgleichverfahren gemäß Vorlagenbgleich basierend auf einer Ähnlichkeit eines Pixelmusters verwendet.
Einzelheiten des durch die Abgleichschaltung 201 durchgeführten Vorlagenabgleichs werden unter Bezugnahme auf 4A und 4B beschrieben. 4A veranschaulicht ein Beispiel eines Objektmodells (einer Vorlage), das bei dem Vorlagenabgleich verwendet wird. Ein in 4A veranschaulichtes Bild 401 ist ein Bildbeispiel eines Bildbereichs (des Objektbereichs), der als Vorlagebild registriert ist, und in dem Fall des vorliegenden beispielhaften Ausführungsbeispiels ein Bild des Bildbereichs an der Position, die durch den Benutzer zu der vorstehend beschriebenen Verfolgungsstartzeit spezifiziert ist. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird ein Pixelmuster, das durch den Merkmalsbetrag von allen Pixel in dem Bild 401 ausgedrückt wird, als das Objektmodell (das hierin nachstehend als Vorlage 402 bezeichnet wird) behandelt. Die in 4A veranschaulichte Vorlage 402 ist in einer gitterartigen Weise mit Quadraten gemustert, die jeweils einem von den Pixel entsprechen, und so angeordnet, dass sie eine Größe der Anzahl von Pixel W in der horizontalen Richtung und der Anzahl von Pixel H in der vertikalen Richtung aufweist. (i, j) in jedem von den Pixel in der Vorlage 402 stellt (x, y)-Koordinaten in der Vorlage 402 dar, und T(i, j) stellt den Merkmalsbetrag von jedem der Pixel dar. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird ein Luminanzwert von jedem der Pixel als der Merkmalsbetrag T(i, j) in der Vorlage 402 verwendet. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird der Merkmalsbetrag T(i, j) von jedem der Pixel in der Vorlage 402 durch die folgende Gleichung (1) ausgedrückt. T(i, j) = {T(0, 0), T(1, 0), ..., T(W – 1, H – 1)} Gleichung (1)
Ein in 4B veranschaulichtes Bild 403 bezeichnet ein Gebiet, in dem nach dem zu verfolgenden Objektbereich gesucht wird, d.h. das Eingabebild des A + B-Bilds.
Die Abgleichschaltung 201 stellt einen Teilbereich 404 in einer Rasterreihenfolge ein, wie es durch einen Pfeil in 4B angegeben ist, d.h. stellt innerhalb eines Gebiets des Eingabebilds 403 den Teilbereich 404, während sie den Teilbereich 404 Pixel für Pixel verschiebt, in einer Reihenfolge beginnend von einem oberen linken Eck in 4B sequentiell ein. Eine Größe des Teilbereichs 404 entspricht der Größe der Vorlage 402. Die Abgleichschaltung 201 behandelt den Merkmalsbetrag von jedem Pixel, das in diesem Teilbereich 404 enthalten ist, als ein Pixelmuster 405. Gemäß 4B ist das Pixelmuster 405, das durch den Merkmalsbetrag von jedem der Pixel in dem Teilbereich 404 ausgedrückt wird, in einer gitterartigen Weise mit Quadraten gemustert, die jeweils jedem der Pixel entsprechen, und so angeordnet, dass es die Größe der Anzahl von Pixel W in der horizontalen Richtung und der Anzahl von Pixel H in der vertikalen Richtung hat. (i, j) in jedem der Pixel in dem Pixelmuster 405 stellt (x, y)-Koordinaten in dem Teilbereich 404 dar, und S(i, j) stellt den Merkmalsbetrag von jedem der Pixel dar. Ein Luminanzwert von jedem der Pixel wird als der Merkmalsbetrag in dem Pixelmuster 405 des Teilbereichs 404 verwendet. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird der Merkmalsbetrag S(i, j) von jedem der Pixel in dem Pixelmuster 405 des Teilbereichs 404 durch die folgende Gleichung (2) ausgedrückt.
S(i, j) = {S(0, 0), S(1, 0), ..., S(W – 1, H – 1)} Gleichung (2)
Die Abgleichschaltung 201 führt sequentiell die Abgleichverarbeitung zwischen dem Pixelmuster 405 von jedem der Teilbereiche 404, die in der Rasterreihenfolge eingestellt werden, wie es in 4B veranschaulicht ist, und der in 4A veranschaulichten Vorlage 402 durch, wodurch eine Ähnlichkeit zwischen diesen evaluiert bzw. bewertet wird. Die Abgleichschaltung 201 erzeugt einen Bewertungswert der Ähnlichkeit, der für jeden der in der Rasterreihenfolge eingestellten Teilbereiche 404 aus dem Eingabebild des A + B-Bild erfasst wird, als einen Vorlagebewertungswert.
Eine Summe von Absolutwerten bzw. Beträgen von Differenzen, d.h. ein sogenannter SAD-Wert (SAD: Summe der absoluten Differenzen), kann beispielsweise als ein Berechnungsverfahren zum Evaluieren bzw. Bewerten der Ähnlichkeit zwischen der Vorlage 402 und dem Teilbereich 404 (dem Pixelmuster 405) verwendet werden. Der SAD-Wert (die Summe von Absolutwerten bzw. Beträgen von Differenzen) V(x, y) wird durch die folgende Gleichung (3) berechnet.
Wie es vorstehend beschrieben ist, stellt die Abgleichschaltung 201 den Teilbereich 404 in der Rasterreihenfolge in dem Eingabebild 403, das als das Suchgebiet dient, sequentiell ein, während sie den Teilbereich 404 Pixel für Pixel verschiebt, und berechnet sie den SAD-Wert V(x, y) zwischen dem Pixelmuster 405 des Teilbereichs 404 und der Vorlage 402. Der Teilbereich 404, wo der durch die Berechnung erfasste SAD-Wert V(x, y) minimal ist, wird als ein Teilbereich betrachtet, der in dem als das Suchgebiet dienenden Eingabebild 403 am Ähnlichsten zu der Vorlage 402 ist. Die Abgleichschaltung 201 erfasst Koordinaten (x, y) des Teilbereichs 404, wo der SAD-Wert V(x, y) in dem Eingabebild 403 minimal ist. Die Koordinaten (x, y) des Teilbereichs 404, wo der SAD-Wert V(x, y) minimal ist, stellen eine Position dar, wo es sehr wahrscheinlich ist, dass sich der zu verfolgende Objektbereich in dem als das Suchbild dienenden Eingabebild 403 befindet. In der folgenden Beschreibung werden die Koordinaten (x, y) des Teilbereichs 404, wo der SAD-Wert V(x, y) minimal ist, als die Objektverfolgungsposition bezeichnet. Die Abgleichschaltung 201 extrahiert einen Bereich, der den Koordinaten (x, y) des Teilbereichs 404 entspricht, wo der SAD-Wert V(x, y) minimal ist, aus dem als das Suchgebiet dienenden Eingabebild 403, und gibt den extrahierten Bereich als den geschätzten Objektbereich aus. Die Abgleichschaltung 201 überträgt die Informationen über die Objektverfolgungsposition an die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204.
In der vorstehenden Beschreibung ist das Beispiel gegeben, das die Informationen über den Luminanzwert (eindimensionale Informationen, die nur den Luminanzwert umfassen) als den Merkmalsbetrag verwendet, aber können zum Beispiel drei Informationselemente über eine Helligkeit, einen Farbton und eine Farbsättigung (dreidimensionale Informationen, die die Helligkeit, den Farbton und die Farbsättigung umfassen) als der Merkmalsbetrag verwendet werden. In dem vorstehend beschriebenen Beispiel ist der SAD-Wert als das Verfahren zum Berechnen des Abgleichbewertungswert beschrieben, aber kann ein anderes Berechnungsverfahren, wie etwa ein sogenannter normierter Korrelationskoeffizient (NCC), verwendet werden.
<Einzelheiten von Merkmalsextraktionsschaltung von Objektverfolgungsschaltung>
Die Einzelheiten der Merkmalsextraktionsverarbeitung, die durch die Merkmalsextraktionsschaltung 202 der Objektverfolgungsschaltung 161 durchgeführt wird, werden nun beschrieben.
Die Merkmalsextraktionsschaltung 202 schätzt den Bildbereich des speziellen Objekts (den Objektbereich) in dem Eingabebild des A + B-Bilds basierend auf der Position des Objektbereichs (der Objektverfolgungsposition), der durch den Benutzer spezifiziert bzw. festgelegt oder durch die Abgleichschaltung 201 abgeglichen wird, und der Objektwahrscheinlichkeitsverteilung von der Wahrscheinlichkeitsverteilungserzeugungsschaltung 204. Die Merkmalsextraktionsschaltung 202 extrahiert den Merkmalsbetrag eines Bildbereichs nahe den Koordinaten der Objektverfolgungsposition als den Merkmalsbetrag des speziellen Objektbereichs.
Die Merkmalsextraktionsschaltung 202 erfasst ein Farbhistogramm des Bildbereichs nahe den Koordinaten der Objektverfolgungsposition als ein Farbhistogramm Hin des zu verfolgenden Objektbereichs. Die Merkmalsextraktionsschaltung 202 erfasst ein Farbhistogramm Hout eines Bildbereichs nahe des Objektbereichs. Die Merkmalsextraktionsschaltung 202 berechnet einen Informationsbetrag I(a), der durch die folgende Gleichung (4) ausgedrückt wird, durch Verwendung des Farbhistogramms Hin und des Farbhistogramms Hout. Das Farbhistogramm Hout des Bildbereichs nahe des Objektbereichs wird aus dem gesamten Eingabebild des A + B-Bilds oder einem Teilbereich von diesem erfasst. I(a) = –log₂Hin(a)/Hout(a) Gleichung (4)
Der Informationsbetrag I(a) in der Gleichung (4) stellt eine Auftrittswahrscheinlichkeit von jeder Klasse bzw. jedem Behälter des Farbhistogramms in dem Objektbereich mit Bezug auf das gesamte Eingabebild des A + B-Bilds oder den Teilbereich von diesem dar. Die Auftrittswahrscheinlichkeit von jeder Klasse bzw. jedem Behälter des Farbhistogramms kann auch ein Bewertungswert von jeder Klasse bzw. jedem Behälter sein. Die Merkmalsextraktionsschaltung 202 erzeugt ein Kennfeld, das eine Wahrscheinlichkeit dafür bezeichnet, dass es das Pixel in dem Objektbereich ist, mit Bezug auf jedes der Pixel in dem Eingabebild des A + B-Bilds basierend auf dem Informationsbetrag I(a).
Die Merkmalsextraktionsschaltung 202 erfasst die Objektwahrscheinlichkeitsverteilung, die durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 basierend auf den Entfernungsinformationen erzeugt wird, wie es vorstehend beschrieben ist, d.h. Informationen über ein Kennfeld, das eine Wahrscheinlichkeit dafür bezeichnet, dass es der Objektbereich ist. Die Merkmalsextraktionsschaltung 202 erzeugt ein Objektkennfeld, das eine Wahrscheinlichkeit dafür bezeichnet, dass es der spezielle Objektbereich ist, indem sie die Wahrscheinlichkeit in dem Kennfeld basierend auf dem Farbhistogramm und die Wahrscheinlichkeit in den Kennfeld basierend auf den Entfernungsinformationen (der Objektwahrscheinlichkeitsverteilung) multipliziert. Die Merkmalsextraktionsschaltung 202 schätzt den Objektbereich, indem sie ein Rechteck, das den Objektbereich bezeichnet, auf das Eingabebild des A + B-Bilds basierend auf dem Objektkennfeld anpasst. Als Folge der Rechteckanpassungsverarbeitung enthält der geschätzte Objektbereich viele Pixel, für die es sehr wahrscheinlich ist, dass sie den Objektbereich darstellen, und wenige Pixel, für die es wenig wahrscheinlich ist, dass sie den Objektbereich darstellen. Der Merkmalsbetrag des Objektbereichs, der durch die Merkmalsextraktionsschaltung 202 geschätzt wird, dient als die Vorlage, die in dem vorstehend beschriebenen Abgleich durch die Abgleichschaltung 201 zu verwenden ist.
<Einzelheiten von Entfernungsverteilungserzeugungsschaltung von Objektverfolgungsschaltung>
Die Einzelheiten der Verarbeitung zum Erzeugen der Entfernungsverteilung, die durch die Entfernungsverteilungserzeugungsschaltung 203 der Objektverfolgungsschaltung 161 durchgeführt wird, werden nun beschrieben.
Die Entfernungsverteilungserzeugungsschaltung 203 berechnet die Entfernung von der Bildgebungsvorrichtung 100 zu dem Objekt oder dergleichen basierend auf den vorstehend beschriebenen Parallaxenbildern des A-Bilds und des B-Bilds in Zusammenhang mit jedem der Pixel in dem Eingabebild des A + B-Bilds. Im Speziellen detektiert die Entfernungsverteilungserzeugungsschaltung 203 einen Bildversetzungsbetrag, um die Entfernung von jedem der Pixel zu berechnen, indem sie eine Korrelationsberechnungsverarbeitung unter Verwendung der Parallaxenbilder durchführt. Ein Verfahren zum Detektieren des Bildversetzungsbetrags unter Verwendung der Parallaxenbilder ist zum Beispiel in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2008-15754 offenbart, und die in der Patentliteratur erörterte Technik besteht darin, den Bildversetzungsbetrag zu detektieren, indem die Korrelationsberechnung für jeden kleinen Block durchgeführt wird, der durch Unterteilung eines Bilds in kleine Bereiche erhalten wird. Die Entfernungsverteilungserzeugungsschaltung 203 berechnet eine Abweichung (einen Unschärfebetrag) für jedes der Pixel auf der Bildgebungs- bzw. Abbildungsebene des Bildsensors 141, indem sie den Bildversetzungsbetrag mit einem vorbestimmten Umwandlungskoeffizienten multipliziert. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird der berechnete Unschärfebetrag als die geschätzte Entfernung zu dem Objekt oder dergleichen an jedem der Pixel in dem Eingabebild des A + B-Bilds behandelt, und erzeugt die Entfernungsverteilungserzeugungsschaltung 203 eine Verteilung, in der jede dieser geschätzten Entfernungen in Zusammenhang mit jedem der Pixel dargelegt bzw. angeordnet ist, als die Entfernungsverteilung.
Die Entfernungsverteilungserzeugungsschaltung 203 bestimmt, mit Bezug auf die für jedes der Pixel geschätzten Entfernungsinformationen, eine Zuverlässigkeit der Entfernungsinformationen, und erzeugt eine Zuverlässigkeitsverteilung, die eine Verteilung der Zuverlässigkeit der geschätzten Entfernung für jedes der Pixel bezeichnet. Ein Beispiel zum Erzeugen der Zuverlässigkeitsverteilung wird nun beschrieben. Die Entfernungsverteilungserzeugungsschaltung 203 detektiert den Bildversetzungsbetrag für jedes der Pixel, indem sie die Parallaxenbilder des A-Bilds und des B-Bilds in kleine Bereiche (kleine Blöcke) unterteilt und die Korrelationsverarbeitung für jeden dieser kleinen Blöcke durchführt, wie es vorstehend beschrieben ist. In einem Fall, in dem eine Ähnlichkeit eines Bildmusters durch die Korrelationsberechnung erfasst wird, wobei zum Beispiel die Bildmuster der einzelnen kleinen Blöcke eine Ansammlung von ähnlichen Mustern sind, ist es schwierig, einen Spitzen- bzw. Scheitelwert eines Korrelationsgrad durch die Korrelationsberechnung zu erhalten und den korrekten Bildversetzungsbetrag zu detektieren. Daher bestimmt die Entfernungsverteilungserzeugungsschaltung 203, dass die Zuverlässigkeit niedrig ist, wenn eine Differenz zwischen einem Durchschnittswert und dem Spitzen- bzw. Scheitelwert (einem Maximalwert im Fall der Ähnlichkeit) der Korrelationsberechnung klein ist. Die Zuverlässigkeit wird für jeden der kleinen Blöcke erfasst. Eine Position von jedem von Pixel in dem kleinen Block wird durch Koordinaten ausgedrückt, so dass die Entfernungsverteilungserzeugungsschaltung 203 die Zuverlässigkeitsverteilung aus der Zuverlässigkeit der Entfernungsinformationen über jedes der Pixel erzeugen kann. Die Entfernungsverteilungserzeugungsschaltung 203 überträgt auch Informationen über die Zuverlässigkeitsverteilung mit Bezug auf die Entfernungsinformationen über jedes der Pixel zusammen mit den Informationen über die Entfernungsverteilung an die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204.
<Einzelheiten von Objektwahrscheinlichkeitsverteilungserzeugungsschaltung von Objektverfolgungsschaltung>
Die Einzelheiten der Verarbeitung zum Erzeugen der Objektwahrscheinlichkeitsverteilung, die durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 der Objektverfolgungsschaltung 161 durchgeführt wird, werden nun beschrieben.
Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 erzeugt die Objektwahrscheinlichkeitsverteilung, die die Wahrscheinlichkeit dafür bezeichnet, dass es der spezielle Objektbereich ist, basierend auf den Informationen über die Entfernungsverteilung und die Zuverlässigkeitsverteilung, die von der Entfernungsverteilungserzeugungsschaltung 203 empfangen werden, und den Informationen über den Objektbereich von der Abgleichschaltung 201. Die Objektwahrscheinlichkeitsverteilung wird unter Bezugnahme auf 5A bis 5C beschrieben.
5A veranschaulicht ein Beispiel eines Eingabebilds 500 des A + B-Bilds und eines zu verfolgenden Objekts 501 in dem Eingabebild 500. Es gibt auch ein weiteres Objekt 502, das von dem zu verfolgenden Objekt 501 verschieden ist, und einen Hintergrund 503 in dem in 5A veranschaulichten Eingabebild 500. In dem Beispiel des in 5A veranschaulichten Eingabebilds 500 sind die Objekte 501 und 502 Objekte, die sich in einer kurzen Entfernung von der Bildgebungsvorrichtung 100 entfernt befinden, und befindet sich der Hintergrund 503 in einer langen Entfernung von der Bildgebungsvorrichtung 100 entfernt.
5B veranschaulicht die Entfernungsverteilung, die durch die Entfernungsverteilungserzeugungsschaltung 203 aus dem in 5A veranschaulichten Eingabebild 500 erzeugt wird. In dem Fall des vorliegenden beispielhaften Ausführungsbeispiels wird die Entfernungsverteilung zum Beispiel als ein Schwarzweiß-Binärbild ausgedrückt bzw. wiedergegeben. In dem Bildbeispiel der in 5B veranschaulichten Entfernungsverteilung bezeichnet ein Bereich, der aus in weißer Farbe ausgedrückten Pixel gebildet ist, den Bereich des Objekts oder dergleichen, das sich in einer kurzen Entfernung von der Bildgebungsvorrichtung 100 entfernt befindet, und bezeichnet ein Bereich, der aus in schwarzer Farbe ausgedrückten Pixel gebildet ist, einen Bereich des Objekt oder dergleichen, das sich in einer langen Entfernung von der Bildgebungsvorrichtung 100 entfernt befindet. In dem in 5A veranschaulichten Beispiel ist die Entfernung von der Bildgebungsvorrichtung 100 zu den Objekten 501 und 502 kurz, und ist die Entfernung von der Bildgebungsvorrichtung 100 zu dem Hintergrund 503 lang, so dass die Entfernungsverteilung von 5A in einer solchen Art und Weise erzeugt wird, dass die Bereiche 511 und 512, die den Objekten 501 und 502 entsprechen, als die weißen Bereiche ausgedrückt bzw. wiedergegeben werden, und ein Bereich 513, der dem Hintergrund 503 entspricht, als der schwarze Bereich ausgedrückt bzw. wiedergegeben wird. Das Objekt 501 ist in dem in 5A veranschaulichten Beispiel als das Verfolgungsziel eingestellt bzw. festgelegt, so dass eine Position des Bereichs 511, der dem Objekt 501 entspricht, als die Objektverfolgungsposition in dem Fall des in 5B veranschaulichten Beispiels eingestellt bzw. festgelegt ist. In dem in 5B veranschaulichten Beispiel ist die Entfernungsverteilung zur Vereinfachung der Beschreibung durch die Schwarzweiß-Binärwerte ausgedrückt bzw. wiedergegeben, aber wird sie tatsächlich als eine mehrwertige Information erzeugt, in der jedes der Pixel die Entfernung darstellen kann.
5C veranschaulicht ein Beispiel einer Objektwahrscheinlichkeitsverteilung 520, die durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 durch Verwendung der in 5B veranschaulichten Entfernungsverteilung 510 zu erzeugen ist. In dem in 5C veranschaulichten Beispiel ist jedes von Pixel durch Schwarzweiß-Binärwerte in der Objektwahrscheinlichkeitsverteilung 520 ausgedrückt bzw. wiedergegeben. In dem Beispiel der in 5C veranschaulichten Objektwahrscheinlichkeitsverteilung 520 bezeichnet ein Bereich, der aus in weißer Farbe ausgedrückten Pixel gebildet ist, einen Bereich, der eine hohe Wahrscheinlichkeit dafür aufweist, dass es der zu verfolgende Objektbereich ist, und bezeichnet ein Bereich, der aus in schwarzer Farbe ausgedrückten Pixel gebildet ist, einen Bereich, der eine geringe Wahrscheinlichkeit dafür aufweist, dass es der zu verfolgende Objektbereich ist. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 bestimmt, dass die Wahrscheinlichkeit dafür, dass es der zu verfolgende Objektbereich ist, für einen Bereich hoch ist, der durch Verbindung von jedem von Pixel mit einem Wert der Entfernungsinformationen an jedem der Pixel in der Entfernungsverteilung nahe dem Wert der Entfernungsinformationen, die der Objektverfolgungsposition entspricht, definiert wird. Im Speziellen bestimmt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204, dass die Wahrscheinlichkeit dafür, dass es der zu verfolgende Objektbereich ist, für einen Bereich hoch ist, der durch Verbindung von jedem von Pixel definiert wird, die, basierend auf der Objektverfolgungsposition, einen Wert nahe dem Wert der Entfernungsinformationen an dem Pixel an der Position aufweisen.
Wenn der Wert der Entfernungsinformationen an jedem der Pixel in der Entfernungsverteilung ein Wert ist, der weit von dem Wert der Entfernungsinformationen an jedem der Pixel in dem zu verfolgenden Objektbereich entfernt ist, bestimmt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204, dass die Wahrscheinlichkeit dafür, dass es ein Pixel in dem zu verfolgenden Objektbereich ist, für das Pixel gering ist. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 bestimmt, dass die Wahrscheinlichkeit dafür, dass es ein Pixel in dem zu verfolgenden Objektbereich ist, für ein Pixel gering ist, das, basierend auf der Objektverfolgungsposition, einen Wert aufweist, der nahe dem Wert der Entfernungsinformationen an dem Pixel an der Position ist, aber sich in einem unverbundenen Bereich (einem ab-/getrennten Bereich) befindet, wie es nachstehend beschrieben wird.
Ob der Wert nahe oder entfernt von dem Wert der Entfernungsinformationen an jedem der Pixel in dem zu verfolgenden Objektbereich ist, kann beispielsweise durch Verwendung eines voreingestellten vorbestimmten Entfernungsschwellenwerts bestimmt werden. Zum Beispiel kann der Wert als nahe bestimmt werden, wenn der Wert der Entfernungsinformationen kleiner oder gleich dem Entfernungsschwellenwert ist, während der Wert als entfernt bestimmt werden kann, wenn der Wert der Entfernungsinformationen den Entfernungsschwellenwert überschreitet. Eine Verbindung oder Ab-/Trennung des Bereichs basierend auf der Objektverfolgungsposition wird nachstehend beschrieben.
In dem Fall des 5C veranschaulichten Beispiels ist ein Bereich 521, der dem in 5A veranschaulichten Objekt 501 entspricht, der Bereich, der aus dem Pixel gebildet ist, für die bestimmt wird/ist, dass sie die hohe Wahrscheinlichkeit dafür aufweisen, dass sie den zu verfolgenden Objektbereich darstellen. Ein Bereich 524, der von dem Bereich 521 verschieden ist, ist ein Bereich, der aus dem Pixel gebildet ist, für die bestimmt wird/ist, dass sie die geringe Wahrscheinlichkeit dafür aufweisen, dass sie den zu verfolgenden Objektbereich darstellen. In dem in 5C veranschaulichten Beispiel ist die Objektwahrscheinlichkeitsverteilung zur Vereinfachung der Beschreibung durch die Schwarzweiß-Binärwerte ausgedrückt bzw. wiedergegeben, aber wird die Wahrscheinlichkeit dafür, dass es das Pixel in dem zu verfolgenden Objektbereich ist, in dem Fall des vorliegenden beispielhaften Ausführungsbeispiels tatsächlich durch mehrere Werte ausgedrückt bzw. wiedergegeben. Auf diese Art und Weise wird die in 5C veranschaulicht Objektwahrscheinlichkeitsverteilung 520 als eine Verteilung erzeugt, in der die Entfernungsinformationen an jedem der Pixel in der in 5B veranschaulichten Entfernungsverteilung 510 in einen Wert umgewandelt sind, der die Wahrscheinlichkeit dafür bezeichnet, dass es der zu verfolgende Objektbereich ist.
Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 kann basierend auf den Zuverlässigkeitsverteilungsinformationen, die zusammen mit den Entfernungsverteilungsinformationen von der Entfernungsverteilungserzeugungsschaltung 203 übertragen werden, bestimmen, ob die Objektwahrscheinlichkeit zu bestimmen ist. Zum Beispiel kann die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 konfiguriert sein, es zu unterlassen, die Objektwahrscheinlichkeit durch Verwendung der Entfernungsinformationen an dem Pixel zu bestimmen, falls die Zuverlässigkeit der Entfernungsinformationen an dem Pixel basierend auf den Zuverlässigkeitsverteilungsinformationen als niedrig bestimmt wird/ist. Da für jedes der Pixel eingestellt bzw. festgelegt werden/sein kann, ob die Objektwahrscheinlichkeit zu bestimmen ist, kann die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 die Wahrscheinlichkeit des zu verfolgenden Objektbereichs, wie vorstehend beschrieben, nur mit Bezug auf ein Pixel mit hoher Zuverlässigkeit bestimmen. Ob die Zuverlässigkeit hoch oder niedrig ist, kann beispielsweise durch Verwendung eines voreingestellten Zuverlässigkeitsschwellenwerts bestimmt werden. Zum Beispiel bestimmt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204, dass die Zuverlässigkeit hoch ist, wenn der Wert der Zuverlässigkeit der Zuverlässigkeitsverteilungsinformationen gleich oder höher dem vorbestimmten Zuverlässigkeitsschwellenwert ist, und bestimmt sie, dass die Zuverlässigkeit niedrig ist, wenn der Wert der Zuverlässigkeit der Zuverlässigkeitsverteilungsinformationen kleiner ist als der Zuverlässigkeitsschwellenwert, so dass bestimmt werden kann, ob die Objektwahrscheinlichkeit zu bestimmen ist.
<Ablauf von Verarbeitung zum Erzeugen von Objektwahrscheinlichkeitsverteilung>
Unter Bezugnahme auf 6 sowie 7A und 7B wird ein Ablauf der Verarbeitung zum Erzeugen der Objektwahrscheinlichkeitsverteilung beschrieben, die durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 durchgeführt wird. 6 ist ein Ablaufdiagramm, das einen detaillierten Ablauf der vorstehend beschriebenen Verarbeitung zum Erzeugen der Objektwahrscheinlichkeitsverteilung in Schritt S303 veranschaulicht, der in 3 veranschaulicht ist. Jeder Verarbeitungsschritt, der in dem Ablaufdiagramm von 6 veranschaulicht ist, kann zum Beispiel dadurch verwirklicht werden, dass die CPU 151 das Programm gemäß dem vorliegenden beispielhaften Ausführungsbeispiel ausführt. 7A und 7B werden für eine Beschreibung von Klassen bzw. Kategorien in der Objektwahrscheinlichkeitsverteilung in Schritt S601 verwendet, der in 6 veranschaulicht ist.
In Schritt S601, der in dem Ablaufdiagramm von 6 veranschaulicht ist, clustert bzw. bündelt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 jedes der Pixel in der von der Entfernungsverteilungserzeugungsschaltung 203 gelieferten Entfernungsverteilung in vier Arten von Cluster bzw. Gruppen/Ansammlungen, wie in den folgenden Beispielen. Die Clusterbildung wird gemäß dem Vorhandensein oder Nichtvorhandensein der Entfernungsinformationen, der Zuverlässigkeit der Entfernungsinformationen und dem Wert der Entfernungsinformationen durchgeführt, wie es in 7A veranschaulicht ist. Wie es in 7A veranschaulicht ist, klassifiziert die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 ein Pixel in der Entfernungsverteilung in eine erste Klasse, wenn das Pixel die Entfernungsinformationen aufweist, die Zuverlässigkeit der Entfernungsinformationen hoch ist, und der Wert der Entfernungsinformationen nahe dem Wert der Entfernungsinformationen an dem Pixel an der Objektverfolgungsposition ist. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird die erste Klasse als eine Positiv-Klasse bezeichnet. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 klassifiziert ein Pixel in der Entfernungsverteilung in eine zweite Klasse, wenn das Pixel die Entfernungsinformationen aufweist, die Zuverlässigkeit der Entfernungsinformationen hoch ist, und der Wert der Entfernungsinformationen entfernt von dem Wert der Entfernungsinformationen an dem Pixel der Objektverfolgungsposition ist. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird die zweite Klasse als eine Negativ-Klasse bezeichnet. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 klassifiziert ein Pixel in der Entfernungsverteilung in eine dritte Klasse, ohne sich auf den Wert der Entfernungsinformationen von diesem zu stützen, wenn das Pixel die Entfernungsinformationen aufweist und die Zuverlässigkeit der Entfernungsinformationen niedrig ist. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird die dritte Klasse als eine Unbekannt-Klasse bezeichnet. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 klassifiziert ein Pixel in der Entfernungsverteilung in eine vierte Klasse, wenn das Pixel die Entfernungsinformationen nicht aufweist. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird die vierte Klasse als eine Kein-Wert-Klasse bezeichnet. Die Entfernungsverteilungserzeugungsschaltung 203 kann die Entfernungsinformationen nur mit Bezug auf einen Teilbereich des Eingabebilds des A + B-Bilds erfassen, um eine Verarbeitungslast zu verringern. In diesem Fall klassifiziert die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 ein Pixel, das einem anderen Bereich mit ausgenommen den Teilbereich entspricht, in die Kein-Wert-Klasse, da das Pixel die Entfernungsinformationen nicht aufweist. Nach Schritt S601 schreitet die Verarbeitung zu Schritt S602 voran.
In Schritt S602 kennzeichnet bzw. etikettiert/markiert die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 Pixel in der Positiv-Klasse und der Unbekannt-Klasse als Pixel, die zu verbinden sind, basierend auf der Objektverfolgungsposition. Durch die Kennzeichnung bzw. Etikettierung/Markierung verbindet die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 die Pixel in der Positiv-Klasse und der Unbekannt-Klasse, und verbindet sie nicht die Pixel in der Negativ-Klasse und der Kein-Wert-Klasse, basierend auf der Objektverfolgungsposition. Nach Schritt S602 schreitet die Verarbeitung zu Schritt S603 voran.
In Schritt S603 wandelt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 die Positiv-Klasse und die Unbekannt-Klasse von ungekennzeichneten bzw. unetikettierten/-markierten Pixel, die in Schritt S602 nicht gekennzeichnet bzw. etikettiert/markiert wurden, in die Negativ-Klasse um. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 wandelt eine Klasse der in Schritt S602 gekennzeichneten bzw. etikettierten/markierten Pixel nicht um. Bei dem vorliegenden beispielhaften Ausführungsbeispiel wird angenommen, dass sich das zu verfolgende Objekt in einer im Wesentlichen konstanten Entfernung von der Bildgebungsvorrichtung 100 entfernt befindet und auch ein Objekt oder dergleichen ist, das einen einzelnen bzw. einheitlichen Körper darstellt. Nach Schritt S603 schreitet die Verarbeitung zu Schritt S604 voran.
In Schritt S604 bestimmt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 eine Klasse eines zu dem Pixel in der Kein-Wert-Klasse nächstgelegenen Pixels, das zu einer anderen Klasse als der Kein-Wert-Klasse gehört. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 wandelt die Klasse des Pixels in der Kein-Wert-Klasse in die Negativ-Klasse um, wenn die Klasse des nächstgelegenen Pixels die Negativ-Klasse ist. Nach Schritt S604 schreitet die Verarbeitung zu Schritt S605 voran.
In Schritt S605 bestimmt die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 eine Klasse eines zu dem Pixel in der Kein-Wert-Klasse nächstgelegenen Pixels, das zu einer anderen Klasse als der Kein-Wert-Klasse gehört. Die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 wandelt die Klasse des Pixels in der Kein-Wert-Klasse in die Unbekannt-Klasse um, wenn die Klasse des nächstgelegenen Pixels die Positiv-Klasse oder die Unbekannt-Klasse. Nach der Verarbeitung in Schritt S605 beendet die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 die in dem Ablaufdiagramm von 6 veranschaulichte Verarbeitung.
Wie es vorstehend beschrieben ist, wird bei dem vorliegenden beispielhaften Ausführungsbeispiel jedes der Pixel in der Objektwahrscheinlichkeitsverteilung in eine von zumindest drei Arten von Klassen klassifiziert, nämlich die Positiv-Klasse, die Negativ-Klasse und die Unbekannt-Klasse. 7B veranschaulicht die Klassen in der Objektwahrscheinlichkeitsverteilung und die Definition von jeder der Klassen. Wie es in 7B veranschaulicht ist, ist die Positiv-Klasse eine Klasse, die bezeichnet, dass die Wahrscheinlichkeit des zu verfolgenden Objektbereichs hoch ist. Die Negativ-Klasse ist eine Klasse, die bezeichnet, dass die Wahrscheinlichkeit des zu verfolgenden Objektbereichs gering ist. Die Unbekannt-Klasse ist eine Klasse, die bezeichnet, dass die Wahrscheinlichkeit des zu verfolgenden Objektbereichs nicht bestimmt werden kann.
<Wirkung als/wie Objektverfolgung>
Die Informationen über die Objektwahrscheinlichkeitsverteilung, die in der vorstehend beschriebenen Art und Weise durch die Wahrscheinlichkeitsverteilungserzeugungsschaltung 204 erzeugt werden, werden an die Merkmalsextraktionsschaltung 202 übertragen und zum Schätzen des Objektbereichs durch die Merkmalsextraktionsschaltung 202 verwendet. Im Speziellen multipliziert die Merkmalsextraktionsschaltung 202 die Wahrscheinlichkeit, die bezeichnet, wie wahrscheinlich der Bereich der Objektbereich ist, basierend auf dem Histogramm der Farbinformationen mit der Wahrscheinlichkeit, die bezeichnet, wie wahrscheinlich der Bereich der Objektbereich ist, basierend auf den Entfernungsinformationen (d.h. der Wahrscheinlichkeit, die durch die Objektwahrscheinlichkeitsverteilung bezeichnet wird), wie es vorstehend beschrieben ist. Als Ergebnis der Multiplikation wird das Objektkennfeld erzeugt, das die Wahrscheinlichkeit dafür bezeichnet, dass es der spezielle Objektbereich ist.
Zum Beispiel, wenn der Objektbereich basierend auf nur den Farbinformationen geschätzt wird und ein anders gefärbter kleiner Bereich in dem Objektbereich vorhanden ist, kann der kleine Bereich fälschlich nicht als der Objektbereich bestimmt werden. In dem Fall des vorliegenden beispielhaften Ausführungsbeispiels wird die Positiv-Klasse (die Klasse, die bezeichnet, dass die Wahrscheinlichkeit dafür, dass es das Objekt ist, hoch ist) in der Objektwahrscheinlichkeitsverteilung verwendet, um den Objektbereich zu schätzen, was verhindern kann, dass der anders gefärbte kleine Bereich fälschlich nicht als der Objektbereich bestimmt wird.
Zum Beispiel, wenn der Objektbereich basierend nur auf den Farbinformationen geschätzt wird und es einen Bereich in einer Farbe, die ähnlich zu der Farbe des Objektbereichs ist, rund um den Objektbereich gibt, kann der Bereich rund um den Objektbereich fälschlich als in dem Objektbereich enthalten bestimmt werden. In dem Fall des vorliegenden beispielhaften Ausführungsbeispiels wird die Negativ-Klasse (die Klasse, die bezeichnet, dass die Wahrscheinlichkeit dafür, dass es das Objekt ist, gering ist) in der Objektwahrscheinlichkeitsverteilung verwendet, um den Objektbereich zu schätzen, was eine solche fälschliche Bestimmung, dass der Bereich in der ähnlichen Farbe rund um den Objektbereich in dem Objektbereich enthalten ist, verhindern kann.
Zum Beispiel kann in einem Fall, in dem der Objektbereich basierend nur auf den Entfernungsinformationen geschätzt wird, ein Bereich, über den es unbekannt ist, ob der Bereich das Verfolgungsziel darstellt, obwohl die Entfernung des Bereichs ähnlich zu derjenigen des zu verfolgenden Objektbereichs ist, fälschlich als der zu verfolgende Objektbereich bestimmt werden. In dem Fall des vorliegenden beispielhaften Ausführungsbeispiels kann mit Bezug auf den zu der Unbekannt-Klasse (der Klasse, die bezeichnet, dass die Wahrscheinlichkeit dafür, dass es das Objekt ist, nicht bestimmt werden kann) gehörenden Bereich in der Objektwahrscheinlichkeitsverteilung, über den es unbekannt ist, ob der Bereich das Verfolgungsziel darstellt, durch Bezugnahme auf die Farbinformationen bestimmt werden, ob der Bereich der zu verfolgende Objektbereich ist. In diesem Fall wird jedoch weniger genau bestimmt, ob der Bereich der zu verfolgende Objektbereich ist.
<Ablauf von Verarbeitung durch Bildgebungsvorrichtung>
8 ist ein Ablaufdiagramm, das einen Ablauf einer Gesamtverarbeitung veranschaulicht, die durch die Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel zum Verfolgen des Objekts durchgeführt wird, wie etwa in dem vorstehend beschriebenen Beispiel, wenn ein Bild aufgenommen wird.
In Schritt S801, der in dem Ablaufdiagramm von 8 veranschaulicht ist, bestimmt die CPU 151 einen Zustand der Bildgebungsvorrichtung 100. Im Speziellen schreitet die Verarbeitung zu Schritt S802 voran, wenn die CPU 151 in Schritt S801 bestimmt (JA in Schritt S801), dass ein Bildgebungsschalter des Bedienungsschalters 156 der Bildgebungsvorrichtung 100 in einem EIN-Zustand ist. Wenn die CPU 151 in Schritt S801 bestimmt (NEIN in Schritt S801), dass der Bildgebungsschalter in einem AUS-Zustand ist, beendet die CPU 151 die in dem Ablaufdiagramm von 8 veranschaulichte Verarbeitung.
In Schritt S802 steuert die CPU 151 die Einheiten der Bildgebungsvorrichtung 100, um die Einheiten zu veranlassen, für die Bildgebung erforderliche Verarbeitungsschritte durchzuführen. Nach Schritt S802 schreitet die Verarbeitung zu Schritt S803 voran.
In Schritt S803 steuert die CPU 151 die Objektverfolgungsschaltung 161, um die Objektverfolgungsschaltung 161 zu veranlassen, die Verarbeitung zum Verfolgen des Objekts gemäß dem vorliegenden beispielhaften Ausführungsbeispiel durchzuführen, die unter Bezugnahme auf die vorstehend beschriebenen Zeichnungen, 3 bis 7A und 7B und dergleichen beschrieben ist. Nach Schritt S803 schreitet die Verarbeitung zu Schritt S804 voran.
In Schritt S804 steuert die CPU 151 die Fokussteuerschaltung 133, um die Fokussteuerschaltung 133 zu veranlassen, eine Fokusdetektionsverarbeitung auf dem Objekt durchzuführen, das dem durch die Objektverfolgungsschaltung 161 verfolgten Objektbereich entspricht. Mit anderen Worten berechnet die Fokussteuerschaltung 133 zu dieser Zeit den Verschiebungsbetrag (den Unschärfebetrag) in der Fokussierungsrichtung mit Bezug auf das zu verfolgende Objekt aus den Parallaxenbildern des A-Bilds und des B-Bilds Nach Schritt S804 schreitet die Verarbeitung zu Schritt S805 voran.
In Schritt S805 führt die Fokussteuerschaltung 133 die AF-Steuerung zum Fokussieren auf das zu verfolgende Objekt durch Antrieb der Fokuslinse 131 der Linseneinheit 101 basierend auf dem in Schritt S804 erfassten Verschiebungsbetrag durch. Nach Schritt S805 kehrt die Verarbeitung zu Schritt S801 zurück. Wenn der Bildgebungsschalter in Schritt S801 in dem EIN-Zustand ist (JA in Schritt S801), führt die Bildgebungsvorrichtung 100 die Verarbeitung in Schritt S802 bis S805 fortlaufend durch.
Wie es vorstehend beschrieben ist, erzeugt die Bildgebungsvorrichtung 100 gemäß dem vorliegenden beispielhaften Ausführungsbeispiel die Objektwahrscheinlichkeitsverteilung, die für die Objektverfolgung wirkungsvoll ist, aus der Entfernungsverteilung basierend auf den Entfernungsinformationen und den Informationen über die Objektverfolgungsposition, und verfolgt sie den Objektbereich basierend auf der Objektwahrscheinlichkeitsverteilung. Als Folge hiervon kann gemäß dem vorliegenden beispielhaften Ausführungsbeispiel der spezielle Objektbereich mit hoher Genauigkeit verfolgt werden.
<Weiteres beispielhaftes Ausführungsbeispiel>
Bei dem vorstehend beschriebenen beispielhaften Ausführungsbeispiel ist das Beispiel gegeben, in dem die Bildgebungsvorrichtung 100 mit der Objektverfolgungsfunktion ausgestattet ist, aber die Vorrichtung, die die Objektverfolgungsverarbeitung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel durchführt, ist nicht auf die Bildgebungsvorrichtungen beschränkt. Beispiele von Vorrichtungen, die mit der Objektverfolgungsfunktion ausgestattet sein können, umfassen eine Anzeigevorrichtung, die ein Anzeigebild aus Bilddaten erzeugt, die von einer externen Vorrichtung geliefert oder aus einem Aufzeichnungsmedium oder dergleichen ausgelesen werden, und das erzeugte Bild auf einem Bildschirm anzeigt. In diesem Fall dienen die an die Anzeigevorrichtung eingegebenen Bilddaten als die vorstehend beschriebenen Bilddaten des A + B-Bilds und die Parallaxenbilddaten umfassend das A-Bild und das B-Bild. In dem Beispiel steuert eine Steuerschaltung, wie etwa ein Mikrocontroller, die an der Anzeigevorrichtung installiert ist, eine Anzeigebedingung zum Anzeigen des Bilds basierend auf den Informationen über den Objektbereich, der in der Objektverfolgungsverarbeitung extrahiert wird (zum Beispiel einer Position und einer Größe des Objektbereichs in dem Bild). Im Speziellen wird ein Bild, wie etwa ein Rahmen- bzw. Einzelbild, das das Objekt darstellt, zum Beispiel angezeigt, während es an der Position des Objektbereichs in dem Bild überlagert bzw. eingeblendet wird.
Weiterhin kann die Anzeigevorrichtung den Merkmalsbetrag durch Verwendung der Entfernungsinformationen extrahieren und die Anzeigebedingung beim Anzeigen der Informationen, die das Objekt darstellen, in der überlagerten bzw. eingeblendeten Art und Weise vor und nach Extraktion des Merkmalsbetrags durch Verwendung der Entfernungsinformationen ändern. Zum Beispiel ist die Genauigkeit gering, mit der der Bereich des Objekts geschätzt wird, bevor der Merkmalsbetrag durch Verwendung der Entfernungsinformationen extrahiert ist, während die Genauigkeit steigt, mit der der Bereich des Objekts geschätzt wird, nachdem der Merkmalsbetrag durch Verwendung der Entfernungsinformationen extrahiert ist. Aus diesem Grund kann die Anzeigevorrichtung eine Anzeigesteuerung zum Anzeigen eines vorbestimmten festen Rahmens in der überlagerten bzw. eingeblendeten Art und Weise vor einer Extraktion des Merkmalsbetrags durch Verwendung der Entfernungsinformationen durchführen, während sie eine Position und/oder eine Größe des Rahmens relativ zu dem durch die Objektverfolgung detektierten Objektbereich nach Extraktion des Merkmalsbetrags durch Verwendung der Entfernungsinformationen dynamisch ändert.
Weitere Ausführungsbeispiele
Ein oder mehrere Ausführungsbeispiele der vorliegenden Erfindung können auch verwirklicht werden durch einen Computer eines Systems oder einer Vorrichtung, der computerausführbare Anweisungen (z.B. ein oder mehr Programme), die auf einem Speichermedium (das vollständiger auch als ein "nicht-vorübergehendes computerlesbares Speichermedium" bezeichnet werden kann) aufgezeichnet sind, ausliest und ausführt, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder ein oder mehr Schaltungen (z.B. eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele umfasst, sowie durch ein Verfahren, das durch den Computer des Systems oder der Vorrichtung durchgeführt wird, indem dieser zum Beispiel die computerausführbaren Anweisungen von dem Speichermedium ausliest und ausführt, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder die ein oder mehr Schaltungen steuert, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen. Der Computer kann ein oder mehr Prozessoren (z.B. Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) aufweisen und kann ein Netzwerk separater Computer oder separater Prozessoren umfassen, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können an den Computer zum Beispiel von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel ein oder mehr von einer Festplatte, einem Direktzugriffsspeicher (RAM), einem Festwertspeicher (ROM), einem Speicher verteilter Rechensysteme, einer optischen Platte (wie etwa einer Compact Disc (CD), einer Digital Versatile Disc (DVD) oder einer Blu-ray Disc (BD)^TM), einer Flashspeichervorrichtung, einer Speicherkarte und dergleichen umfassen.
Während die vorliegende Erfindung unter Bezugnahme auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist es selbstverständlich, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Patentansprüche ist die breiteste Auslegung zuzugestehen, so dass alle derartigen Modifikationen und äquivalente Strukturen und Funktionen umfasst sind.
Ein Aspekt der vorliegenden Erfindung stellt eine Bildverarbeitungsvorrichtung bereit, die fähig ist zum Verfolgen eines zu verfolgenden Bildbereichs mit hoher Genauigkeit.
Eine Entfernungsverteilungserzeugungseinheit erzeugt Entfernungsinformationen, die eine Entfernung von jedem von Bereichen in ersten Bilddaten bezeichnen. Eine Objektwahrscheinlichkeitsverteilungserzeugungseinheit erzeugt eine Wahrscheinlichkeitsverteilung eines Objekts in den ersten Bilddaten basierend auf Informationen, die eine als das Objekt spezifizierte Position in den ersten Bilddaten bezeichnen, den Entfernungsinformationen und einer Zuverlässigkeit der Entfernungsinformationen. Eine Merkmalsbetragsextraktionseinheit berechnet einen Merkmalsbetrag, der zum Detektieren des Objekts aus zweiten Bilddaten zu verwenden ist, basierend auf der Wahrscheinlichkeitsverteilung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2005-318554 [0003, 0003]
JP 2001-60269 [0003, 0003, 0003]
JP 2008-15754 [0021, 0065]

Claims

Bildverarbeitungsvorrichtung mit: einer Erfassungseinrichtung zum Erfassen von Entfernungsinformationen, die eine Entfernung von jedem von Bereichen in ersten Bilddaten bezeichnen; einer Erzeugungseinrichtung zum Erzeugen einer Wahrscheinlichkeitsverteilung eines Objekts in den ersten Bilddaten basierend auf Informationen, die eine als das Objekt spezifizierte Position in den ersten Bilddaten bezeichnen, den Entfernungsinformationen und einer Zuverlässigkeit der Entfernungsinformationen; und einer Berechnungseinrichtung zum Berechnen eines Merkmalsbetrags, der zum Detektieren des Objekts aus zweiten Bilddaten zu verwenden ist, basierend auf der Wahrscheinlichkeitsverteilung.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Berechnungseinrichtung einen Merkmalsbetrag von jedem der Bereiche in den ersten Bilddaten extrahiert und den zum Detektieren des Objekts zu verwendenden Merkmalsbetrag basierend auf dem Merkmalsbetrag von jedem der Bereiche und der Wahrscheinlichkeitsverteilung bestimmt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei die Berechnungseinrichtung einen Koeffizienten gemäß der Wahrscheinlichkeitsverteilung für jeden der Bereiche einstellt und den zum Detektieren des Objekts zu verwendenden Merkmalsbetrag durch Verwendung eines Bewertungswerts des Merkmalsbetrags und des Koeffizienten für jeden der Bereiche bestimmt.
Bildverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Wahrscheinlichkeitsverteilung einen ersten Bereich, wo das Objekt sehr wahrscheinlich vorhanden ist, einen zweiten Bereich, wo das Objekt wenig wahrscheinlich vorhanden ist, und einen dritten Bereich, der weder der erste Bereich noch der zweite Bereich ist, umfasst.
Bildverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Berechnungseinrichtung einen ersten Koeffizienten, einen zweiten Koeffizienten und einen dritten Koeffizienten für den ersten Bereich, den zweiten Bereich und den dritten Bereich einstellt, und der dritte Koeffizient kleiner als der erste Koeffizient und größer als der zweite Koeffizient ist.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 5, wobei die Erfassungseinrichtung einen Unschärfebetrag von jedem der Bereiche aus einer Vielzahl von Bilddaten berechnet, die den ersten Bilddaten entsprechen und eine Parallaxe aufweisen, und die Entfernungsinformationen aus dem Unschärfebetrag von jedem der Bereiche erfasst.
Bildverarbeitungsvorrichtung gemäß Anspruch 6, wobei die Erfassungseinrichtung Informationen, die die Zuverlässigkeit der Entfernungsinformationen über jeden der Bereiche bezeichnen, aus der Vielzahl von Bilddaten erzeugt, die die Parallaxe aufweisen.
Bildverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Wahrscheinlichkeitsverteilung zumindest einen ersten Bereich und einen zweiten Bereich umfasst, wobei die Berechnungseinrichtung einen ersten Koeffizienten für den ersten Bereich einstellt und einen zweiten Koeffizienten, der kleiner ist als der erste Koeffizient, für den zweiten Bereich einstellt, und wobei der erste Bereich umfasst: (a) einen Bereich, der die als das Objekt spezifizierte Position beinhaltet, (b) einen Bereich, wo die Zuverlässigkeit der Entfernungsinformationen gleich oder höher einem Zuverlässigkeitsschwellenwert ist und eine Differenz in den Entfernungsinformationen gegenüber dem Bereich, der die als das Objekt spezifizierte Position beinhaltet, gleich oder kleiner einem Entfernungsschwellenwert ist, wobei der Bereich mit dem Bereich, der die als das Objekt spezifizierte Position beinhaltet, verbunden ist, und (c) einen Bereich, wo die Zuverlässigkeit der Entfernungsinformationen niedriger als der Zuverlässigkeitsschwellenwert ist, wobei der Bereich mit dem Bereich, der die als das Objekt spezifizierte Position beinhaltet, verbunden ist.
Bildgebungsvorrichtung mit: einem Bildsensor zum Erzeugen von Bilddaten; einer Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 8; einer Detektionseinrichtung zum Detektieren des Objekts aus den zweiten Bilddaten durch Verwendung des durch die Berechnungseinrichtung berechneten Merkmalsbetrags; und einer Steuereinrichtung zum Steuern einer Bildgebungsbedingung, wenn der Bildsensor ein Bild aufnimmt, gemäß Informationen über einen Bildbereich, der dem durch die Detektionseinrichtung detektierten Objekt entspricht.
Bildverarbeitungsverfahren mit: Erfassen von Entfernungsinformationen, die eine Entfernung von jedem von Bereichen in ersten Bilddaten bezeichnen; Erzeugen einer Wahrscheinlichkeitsverteilung eines Objekts in den ersten Bilddaten basierend auf Informationen, die eine als das Objekt spezifizierte Position in den ersten Bilddaten bezeichnen, den Entfernungsinformationen und einer Zuverlässigkeit der Entfernungsinformationen; und Berechnen eines Merkmalsbetrags, der zum Detektieren des Objekts aus zweiten Bilddaten zu verwenden ist, basierend auf der Wahrscheinlichkeitsverteilung.
Bildverarbeitungsverfahren gemäß Anspruch 10, zusätzlich mit: Berechnen eines Unschärfebetrag von jedem von Bereichen in den ersten Bilddaten aus einer Vielzahl von Bilddaten, die den ersten Bilddaten entsprechen und eine Parallaxe aufweisen, und Erfassen von Entfernungsinformationen aus dem Unschärfebetrag von jedem der Bereiche.
Programm, das, wenn es durch eine Bildverarbeitungsvorrichtung implementiert wird, die Bildverarbeitungsvorrichtung veranlasst zum Durchführen eines Bildverarbeitungsverfahrens gemäß Anspruch 10 oder 11.
Computerlesbares nichtflüchtiges Speichermedium, das ein Programm gemäß Anspruch 12 speichert.