-
TECHNISCHES GEBIET
-
Die Offenbarung bezieht sich allgemein auf ein System und auf ein Verfahren zum Auswählen eines zweidimensionalen interessierenden Gebiets in einem zweidimensionalen Bild unter Verwendung eines Entfernungssensors.
-
HINTERGRUND
-
Zweidimensionale Bilder, die von herkömmlichen Digitalkameras erhalten werden, können z. B. im Hintergrund oder in anderen Teilen des Bilds ablenkende und irrelevante Störflecke enthalten. Üblicherweise kann die Segmentierung des zweidimensionalen Bilds eine physikalische Änderung der Umgebung wie etwa das Hinzufügen eines Vorhangs, um irrelevante Hintergrundstörflecke zu entfernen, umfassen. Die elektronische Segmentierung des zweidimensionalen Bilds nur unter Verwendung zweidimensionaler Markierungen kann zeitaufwendig sein.
-
ZUSAMMENFASSUNG
-
Ein System enthält eine erste Kamera, die ein Koordinatensystem (C1) der ersten Kamera definiert und die zum Erfassen eines ersten Bilds einer Szene konfiguriert ist. Ein Entfernungssensor ist durch einen ersten Abstand von der ersten Kamera beabstandet und definiert ein Entfernungssensor-Koordinatensystem (R). Zum Beispiel können die Linse der ersten Kamera und der Sensorabschnitt des Entfernungssensors in den Ursprüngen des Koordinatensystems (C1) der ersten Kamera bzw. des Entfernungssensor-Koordinatensystems (R) positioniert sein.
-
Ein Controller ist mit der ersten Kamera und mit dem Entfernungssensor funktional verbunden. Die erste Kamera, der Controller und der Entfernungssensor können Teil einer einzelnen Vorrichtung sein. Der Controller weist einen Prozessor und eine konkrete, nicht vorübergehende Speichervorrichtung, auf der Anweisungen zum Ausführen eines Verfahrens zum Erhalten eines zweidimensionalen interessierenden Gebiets (u1*, v1*) in dem ersten Bild, das ein zweidimensionales Intensitätsbild ist, aufgezeichnet sind, auf.
-
Der Ausführung der Anweisungen durch den Prozessor veranlasst, dass der Controller mit der ersten Kamera ein erstes Bild der Szene erfasst. Das erste Bild ist durch mehrere erste Punkte (u1, v1) in einer ersten Bildebene dargestellt. Der Controller ist dafür konfiguriert, mit dem Entfernungssensor ein Entfernungsbild der Szene zu erfassen. Das Entfernungsbild ist durch mehrere zweite Punkte (u2, v2, d) in einer zweiten Bildebene dargestellt. Jeder der mehreren zweiten Punkte (u2, v2, d) in dem Entfernungsbild enthält einen Entfernungsabstand (d), der einem jeweiligen Abstand von dem Entfernungssensor zu den Objekten in der Szene entspricht.
-
Der Controller ist zum Umsetzen des Entfernungsbilds in eine dreidimensionale Abtastung von Punkten (x2, y2, z2) in dem Entfernungssensor-Koordinatensystem (R); und zum Auswählen eines dreidimensionalen interessierenden Gebiets (x2*, y2*, z2*) in dem Entfernungssensor-Koordinatensystem (R) aus der dreidimensionalen Abtastung von Punkten (x2, y2, z2) konfiguriert. Das ausgewählte dreidimensionale interessierende Gebiet (x2*, y2*, z2*) in dem Entfernungssensor-Koordinatensystem (R) kann nur Objekte in der Szene enthalten, die in weniger als einem minimalen Abstand von dem Entfernungssensor sind. Ein räumlicher Ort jedes der ausgewählten Punkte in dem dreidimensionalen Volumen kann eine Funktion des Entfernungsabstands (d) sein. Das ausgewählte dreidimensionale interessierende Gebiet (x2*, y2*, z2*) in dem Entfernungssensor-Koordinatensystem (R) kann nur Objekte in der Szene innerhalb oder auf der Oberfläche eines dreidimensionalen Volumens enthalten. Ein räumlicher Ort jedes der ausgewählten Punkte in dem dreidimensionalen Volumen kann eine Funktion der Zeit sein, so dass sich die Position, die Größe oder die Form des dreidimensionalen Volumens im Zeitverlauf ändern können.
-
Der Controller ist dafür konfiguriert, das dreidimensionale interessierende Gebiet von dem Entfernungssensor-Koordinatensystem (R) in das Koordinatensystem der ersten Kamera (C1) zu transformieren ((x2*, y2*, z2*) in (x1*, y1*, z1*)]. Der Controller ist dafür konfiguriert, das dreidimensionale interessierende Gebiet (x1*, y1*, z1*) in dem Koordinatensystem (C1) der ersten Kamera auf die erste Bildebene abzubilden, um das zweidimensionale interessierende Gebiet (u1*, v1*) zu erhalten.
-
Die erste Kamera kann eine Digitalkamera sein. Die Nutzung eines Entfernungsbilds mit Abstandsinformationen kann schnelle und kostengünstige Arten bereitstellen, um zweidimensionale Bilder zu segmentieren und somit den Prozess des Analysierens der zweidimensionalen Bilder zu beschleunigen. Das System verringert den Anteil des Bilds, für den andere, rechenaufwendigere Algorithmen ausgeführt werden sollen, was zu einer Gesamtbeschleunigung der Bildverarbeitung führt. Dies kann z. B. falsche Übereinstimmungen bei der Suche nach zweidimensionalen Intensitätsbildern verhindern.
-
Die obigen Merkmale und Vorteile und weitere Merkmale und Vorteile der vorliegenden Erfindung gehen leicht aus der folgenden ausführlichen Beschreibung der besten Ausführungsarten der Erfindung in Verbindung mit den beigefügten Zeichnungen hervor.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 ist eine schematische Darstellung eines Systems, das eine erste Kamera, einen Entfernungssensor und einen Controller aufweist;
-
2 ist ein Ablaufplan eines Prozesses, der durch den Controller aus 1 implementiert wird, um in einem durch die erste Kamera aus 1 erzeugten zweidimensionalen ersten Bild ein zweidimensionales interessierendes Gebiet zu erhalten; und
-
3A ist eine schematische Darstellung eines durch die erste Kamera aus 1 erzeugten beispielhaften ersten Bilds vor der Implementierung des Prozesses aus 2; und
-
3B ist eine schematische Darstellung eines ersten Bilds aus 3A nach der Implementierung des Prozesses aus 2.
-
AUSFÜHRLICHE BESCHREIBUNG
-
In den Figuren, in denen sich gleiche Bezugszeichen überall in den mehreren Ansichten auf dieselben oder ähnliche Komponenten beziehen, veranschaulicht 1 ein System 10, das eine erste Kamera 12 aufweist, die ein Koordinatensystem (C1) der ersten Kamera definiert. Das System 10 kann viele verschiedene Formen annehmen und mehrere und/oder alternative Komponenten und Einrichtungen enthalten. Obwohl in den Figuren ein beispielhaftes System 10 gezeigt ist, sind die in den Figuren dargestellten Komponenten darauf nicht beschränkt. Tatsächlich können zusätzliche oder alternative Komponenten und/oder Implementierungen verwendet werden.
-
In 1 ist ein Entfernungssensor 14 durch einen ersten Abstand 16 von der ersten Kamera 12 beabstandet und definiert er ein Entfernungssensor-Koordinatensystem (R). In einem Beispiel können die Linse 12A der ersten Kamera 12 und der Sensorabschnitt 14A des Entfernungssensors 14 in den Ursprüngen des Koordinatensystems (C1) der ersten Kamera bzw. des Entfernungssensor-Koordinatensystems (R) positioniert sein. Die erste Kamera 12 und der Entfernungssensor 14 können an einer Montagehalterung 18 starr montiert sein, um eine feste geometrische oder räumliche Beziehung zu definieren.
-
Die erste Kamera 12 ist in 1 dafür konfiguriert, ein erstes Bild 20 einer Szene 22 zu erfassen. Das erste Bild 20 ist durch mehrere erste Punkte 24 (u1, v1) in einer ersten Bildebene 26 dargestellt. Das erste Bild 20 kann ein Gitter zweidimensionaler Punkte sein, die ein Graustufen- oder Farbintensitätsbild darstellen. Die erste Kamera 12 kann eine zweidimensionale Digitalkamera sein.
-
Anhand von 1 ist ein Entfernungssensor 14 zum Erfassen eines Entfernungsbilds 30 der Szene konfiguriert. Das Entfernungsbild 30 ist durch mehrere zweite Punkte 32 (u2, v2, d) in einer zweiten Bildebene 34 definiert. Der Entfernungssensor 14 erzeugt ein zweidimensionales Bild, das den jeweiligen Abstand, hier als der Entfernungsabstand 36 bezeichnet, von dem Sensorabschnitt 14A des Entfernungssensors 14 zu jedem Objekt (wie etwa zu dem Objekt 38) in der Szene zeigt.
-
In einem Beispiel ist der Entfernungssensor 14 ein Infrarot-Flugzeitsensor, der den Abstand auf der Grundlage der bekannten Lichtgeschwindigkeit auflöst, wobei er die Flugzeit eines Lichtsignals zwischen dem Entfernungssensor 14 und jedem Punkt in der Szene 22 misst. Wie der Fachmann auf dem Gebiet weiß, kann der Entfernungsabstand 36 (d) unter Verwendung einer Kalibrierungsplatte (nicht gezeigt) kalibriert werden. Der Abstandssensor 14 kann in der Weise kalibriert werden, dass der Entfernungsabstand 36 direkt in physikalischen Einheiten wie etwa Fuß oder Meter gegeben ist. Der Entfernungssensor 14 kann sowohl ein Entfernungsbild als auch ein genau ausgerichtetes Infrarotintensitätsbild zurückgeben.
-
Anhand von 1 kann die erste Kamera 12 wenigstens eine Linse 12A und/oder Filter (nicht gezeigt) enthalten, die dafür ausgelegt sind, Licht von der Szene 22 auf einem Bildsensor (nicht gezeigt) zu empfangen und/oder zu formen. Der Bildsensor kann z. B. eine oder mehrere ladungsgekoppelte Vorrichtungen (CCDs) enthalten, die dafür konfiguriert sind, Lichtenergie in ein digitales Signal umzusetzen. Die ladungsgekoppelte Vorrichtung ist eine analoge Vorrichtung, die in jedem Photosensor eine kleine elektrische Ladung erzeugt, wenn Licht darauf auffällt. Die Ladungen werden, ein Pixel nach dem anderen, in eine Spannung umgesetzt, während sie von dem Chip gelesen werden, und unter Verwendung einer zusätzlichen Schaltungsanordnung in digitale Daten umgewandelt. Der Bildsensor kann einen Komplementärmetalloxid-Halbleiterchip (CMOS) enthalten, der ein aktiver Pixelsensor ist, der neben jedem Photosensor eine Schaltungsanordnung aufweist, die die Lichtenergie in eine Spannung umsetzt, die daraufhin unter Verwendung einer zusätzlichen Schaltungsanordnung auf dem Chip in digitale Daten umgesetzt wird.
-
Nun anhand von 1 ist ein Controller 40 mit der ersten Kamera 12 und mit dem Entfernungssensor 14 funktional verbunden. Die erste Kamera 12, der Controller 40 und der Entfernungssensor 14 können Teil einer einzelnen Vorrichtung sein. Anhand von 1 weist der Controller 40 einen Prozessor 42 und einen konkreten, nicht vorübergehenden Speicher 44, auf dem Anweisungen zum Ausführen eines Verfahrens oder Prozesses 100 zum Erhalten eines zweidimensionalen interessierenden Gebiets (u1*, v1*) in dem ersten Bild 20 unter Verwendung der durch den Entfernungssensor 14 erhaltenen Informationen aufgezeichnet sind, auf. Der Prozess 100 liegt innerhalb des Controllers 40 oder ist auf andere Weise durch den Controller 40 leicht ausführbar. Der Prozess 100 wird anhand von 2 ausführlich beschrieben.
-
Anhand von 1 kann der Controller 40 eine Eingabevorrichtung 46 und eine Ausgabevorrichtung 48 zum Zusammenwirken mit einem Nutzer (nicht gezeigt) enthalten. Die Eingabevorrichtung 46 kann irgendeine Vorrichtung enthalten, die ermöglicht, dass der Nutzer Informationen oder Befehle für den Controller 40 bereitstellt. Die Eingabevorrichtung 46 kann z. B. eine Computermaus und/oder eine Tastatur enthalten. Die Ausgabevorrichtung 48 kann irgendeine Vorrichtung enthalten, die dafür konfiguriert ist, dem Nutzer Informationen darzustellen. Somit kann die Ausgabevorrichtung 48 einen Anzeigebildschirm oder einen Computermonitor wie etwa einen Flüssigkristallanzeigebildschirm (LCD-Bildschirm) enthalten.
-
Optional kann mit dem Controller 40 eine zweite Kamera 50 funktional verbunden sein. Die zweite Kamera 50 kann durch einen bestimmten Abstand 52 von dem Entfernungssensor 14 beabstandet und an der Montagehalterung 18 starr montiert sein, um eine feste geometrische Beziehung zu definieren. Die zweite Kamera 50 definiert ein Koordinatensystem (C2) der zweiten Kamera. Die zweite Kamera 50 kann dafür konfiguriert sein, ein drittes Bild 54 der Szene 22 zu erfassen. Das dritte Bild 54 ist durch mehrere dritte Punkte 56 (u3, v3) in einer dritten Bildebene 58 definiert. Die erste und die zweite Kamera 12, 50, der Controller 40 und der Entfernungssensor 14 können Teil einer einzelnen Vorrichtung sein.
-
Nun anhand von 2 kann der Prozess 100 mit dem Schritt 102 beginnen, in dem der Controller 40 zum Erfassen des ersten Bilds 20 der Szene 22 mit der ersten Kamera 12 konfiguriert wird. Wie oben angemerkt wurde, ist das erste Bild 20 durch mehrere erste Punkte (u1, v1) in der ersten Bildebene 26 dargestellt. Die Schritte 102 bis 118 aus 2 können in einer anderen Reihenfolge als der im Folgenden Beschriebenen ausgeführt werden und einige Schritte können weggelassen werden. In Schritt 104 aus 2 wird der Controller 40 zum Erfassen des Entfernungsbilds 30 der Szene 22 mit dem Entfernungssensor 14 konfiguriert.
-
In Schritt
106 aus
2 wird der Controller
40 zum Umsetzen des durch die mehreren zweiten Punkte
32 (u
2, v
2, d) in der zweiten Bildebene
34 dargestellten Entfernungsbilds
30 in eine dreidimensionale Abtastung von Punkten (x
2, y
2, z
2) in dem Entfernungssensor-Koordinatensystem (R) konfiguriert. Der Schritt
106 kann einen Teilschritt
106A zum Erhalten einer Umsetzungsmatrix (P
2) zum Umsetzen des Entfernungssensor-Koordinatensystems (R) in die Ebene
34 des zweiten Bilds derart enthalten, dass:
ist.
-
Die Umsetzungsmatrix (P
2) kann aus Eigenschaften des Entfernungssensors
14 wie etwa der Brennweite bestimmt werden. In Schritt
106 wird eine Inverse der Umsetzungsmatrix (P
2) verwendet, um das Entfernungsbild
30 (u
2, v
2, d) in die dreidimensionale Abtastung von Punkten (x
2, y
2, z
2) derart umzusetzen, dass:
ist.
-
In Schritt 108 aus 2 wird der Controller 40 dafür konfiguriert, aus der dreidimensionalen Abtastung von Punkten (x2, y2, z2) in dem Entfernungssensor-Koordinatensystem (R) ein dreidimensionales interessierendes Gebiet (x2*, y2*, z2*) auszuwählen. Das ausgewählte dreidimensionale interessierende Gebiet (x2*, y2*, z2*) kann von dem Entfernungsabstand 36 (d) (d. h. als ein von den Entfernungsdaten abhängiges Auswahlvolumen) abhängen. Zum Beispiel kann das dreidimensionale interessierende Gebiet als ein Gebiet um das Objekt 38, welches auch immer, das dem Entfernungssensor 14 am nächsten ist, ausgewählt werden. Die Position, die Größe und die Form des ausgewählten dreidimensionalen interessierenden Gebiets (x2*, y2*, z2*) oder Volumens können alle anstelle nur fester Volumina im Raum Funktionen des Entfernungsabstands 36 (d) sein. Das ausgewählte dreidimensionale interessierende Gebiet (x2*, y2*, z2*) kann nur Objekte 38 (siehe 2) in der Szene 22 enthalten, die weniger als einen minimalen Abstand von dem Entfernungssensor aufweisen.
-
In einer Ausführungsform enthält das ausgewählte dreidimensionale interessierende Gebiet (x2*, y2*, z2*) in der Szene 22 nur Objekte 38 innerhalb oder auf der Oberfläche eines vordefinierten dreidimensionalen Volumens (wie etwa des in 3A gezeigten und im Folgenden beschriebenen Volumens 312). Das dreidimensionale Volumen kann ein Würfel, ein Zylinder, ein rechtwinkliges Prisma, ein Kegel, ein Dreikantprisma oder irgendeine andere regelmäßige oder unregelmäßige dreidimensionale Form sein. Das dreidimensionale Volumen definiert ausgewählte Punkte. In einem Beispiel kann der räumliche Ort jedes der ausgewählten Punkte in dem dreidimensionalen Volumen eine Funktion der Zeit sein, so dass sich die Position, die Größe oder die Form des dreidimensionalen Volumens im Zeitverlauf ändern können. Dies ermöglicht z. B. die Nachführung eines beweglichen Objekts (wie etwa des in 3A und 3B gezeigten interessierenden Objekts 304).
-
In Schritt
110 aus
2 wird der Controller
40 zum Transformieren des dreidimensionalen interessierenden Gebiets (x
2*, y
2*, z
2*) in dem Entfernungssensor-Koordinatensystem (R) in ein dreidimensionales interessierendes Gebiet (x
1*, y
1*, z
1*) in dem Koordinatensystem (C
1) der ersten Kamera konfiguriert. Anhand von
1 sind die dreidimensionalen interessierenden Gebiete (x
2*, y
2*, z
2*) und (x
1*, y
1*, z
1*) in einem Koordinatensystem A des absoluten Raums gleich. Der Schritt
110 umfasst das Transformieren des dreidimensionalen interessierenden Gebiets von einem Koordinatensystem in ein anderes. Der Schritt
110 kann einen Teilschritt
110A zum Erhalten einer ersten Transformationsmatrix (T
21) zum Umsetzen des Entfernungssensor-Koordinatensystems (R) in das Koordinatensystem (C
1) der ersten Kamera derart enthalten, dass:
ist.
-
Die erste Transformationsmatrix (T
21) kann aus der bekannten räumlichen oder geometrischen Beziehung zwischen der ersten Kamera
12 und dem Entfernungssensor
14 bestimmt werden. Wie der Fachmann auf dem Gebiet weiß, ist es möglich, wenn zwei Systeme im dreidimensionalen Raum gegeben sind, eine Transformationsmatrix zu entwickeln, die die Koordinaten von einem System in die Koordinaten des anderen umsetzt, falls die geometrische Beziehung zwischen den zwei Systemen bekannt ist. Die erste Kamera
12 und der Entfernungssensor
14 können so positioniert sein, dass das Entfernungssensor-Koordinatensystem (R) und das Koordinatensystem (C
1) der ersten Kamera eine einfache Translation von Systemen [wie etwa (x
2, y
2, z
2) in (x
1, y
1, z
1)] umfassen. In einem Beispiel, in dem das Entfernungssensor-Koordinatensystem und das Koordinatensystem der ersten Kamera durch eine Verschiebung entlang der y-Achse von minus 5 Einheiten zusammenhängen, kann die Transformationsmatrix (T
21) wie folgt sein:
-
Der Schritt
110 aus
2 enthält das Transformieren des dreidimensionalen interessierenden Gebiets von dem Entfernungssensor-Koordinatensystem (R) in das Koordinatensystem (C
1) der ersten Kamera [(x
2*, y
2*, z
2*) in (x
1*, y
1*, z
1*)] unter Verwendung der ersten Transformation (T
21) derart, dass:
ist.
-
In Schritt
112 aus
2 wird der Controller
40 zum Abbilden des dreidimensionalen interessierenden Gebiets (x
1*, y
1*, z
1*) auf die erste Bildebene
26, um das zweidimensionale interessierende Gebiet (u
1*, v
1*) zu erhalten, konfiguriert. Der Schritt
112 kann einen Teilschritt
112A zum Erhalten einer Projektionsmatrix (P
1) zum Projizieren des Koordinatensystems (C
1) der ersten Kamera auf die erste Bildebene
26 derart enthalten, dass:
ist.
-
Der Schritt
112 zum Abbilden des dreidimensionalen interessierenden Gebiets (x
1*, y
1*, z
1*) auf die erste Bildebene
26, um ein zweidimensionales interessierendes Gebiet (u
1*, v
1*) zu erhalten, kann unter Verwendung der Projektionsmatrix (P
1) derart ausgeführt werden, dass:
ist.
-
Anhand von 2 kann mit den optionalen Schritten 114 bis 118 eine zweite Kamera 50 (in 1 gezeigt) hinzugefügt werden. Die zweite Kamera 50 ist von dem Entfernungssensor 14 durch einen zweiten Abstand 52 beabstandet und definiert ein Koordinatensystem (C2) der zweiten Kamera. In diesem Beispiel wird der Controller 40 in Schritt 114 (nach Erfassen des Entfernungsbilds 30 in Schritt 104) zum Erfassen eines dritten Bilds 54 der Szene 22 konfiguriert. Anhand von 1 und wie oben angemerkt wurde, wird das dritte Bild 54 durch mehrere dritte Punkte 56 (u3, v3) in einer dritten Bildebene 58 definiert.
-
In Schritt
116 aus
2 wird der Controller
40 zum Transformieren der mehreren dritten Punkte
56 (u
3, v
3) von der dritten Bildebene
58 auf die erste Bildebene
26 konfiguriert. Der Schritt
116 kann einen Teilschritt
116A zum Bestimmen einer zweiten Transformationsmatrix (T
31) zum Umsetzen der dritten Bildebene
58 auf die erste Bildebene
26 enthalten. Die zweite Transformationsmatrix (T
31) kann aus der bekannten räumlichen oder geometrischen Beziehung zwischen der zweiten Kamera
50, der ersten Kamera
12 und dem Entfernungssensor
14 bestimmt werden. In einem Beispiel, in dem die Koordinatensysteme der ersten und der zweiten Kamera durch eine Verschiebung entlang der y-Achse von 10 Einheiten zusammenhängen, kann die zweite Transformationsmatrix (T
31):
sein.
-
In Schritt 118 aus 2 (vor der Umsetzung des Entfernungsbilds 30 in die dreidimensionale Abtastung von Punkten (x2, y2, z2) in Schritt 106) wird der Controller 40 zum Kombinieren des dritten Bilds 54 mit dem ersten Bild 20 konfiguriert. Das Kombinieren der Bilder von der ersten und von der zweiten Kamera 12, 50 verbessert die Auflösung und ermöglicht die Verwendung niedrigauflösender Digitalkameras als die erste und als die zweite Kamera 12, 50. In einem Beispiel sind die erste und die zweite Kamera 12, 50 5-Megapixel-Farbkameras. Zusätzlich können andere Kameras mit anderen sich überlappenden Blickfeldern, einer anderen spektralen Empfindlichkeit und/oder einem anderen hohen Dynamikbereich genutzt werden und durch den obigen Prozess 100 vereinheitlicht werden.
-
Der Prozess 100 aus 2 kann zur Beseitigung von Hintergrundstörflecken genutzt werden. 3A ist eine schematische Darstellung eines beispielhaften ersten Bilds 302 eines interessierenden Objekts 304 vor Implementierung des Prozesses 100. Anhand von 3A stellt schematisch jeder der Kreise 306 andere Objekte in einer Szene dar, die weniger als einen gegebenen Abstand, z. B. 2 Meter, von der ersten Kamera 12 aufweisen. Jedes der Dreiecke 308 stellt schematisch andere Objekte, die mehr als den gegebenen Abstand von der ersten Kamera 12 aufweisen, d. h. einen Hintergrund, dar.
-
3B ist eine schematische Darstellung eines segmentierten ersten Bilds 310, das das beispielhafte erste Bild 302 aus 3A nach Implementierung des Prozesses 100 darstellt. Das dreidimensionale interessierende Gebiet (x2*, y2*, z2*) wurde hier so ausgewählt, dass es nur Objekte enthält, die weniger als einen gegebenen Abstand von der ersten Kamera 12 aufweisen. Mit anderen Worten repräsentiert 3B 3A nach Beseitigung aller Objekte, die mehr als den gegebenen Abstand von der ersten Kamera 12 aufweisen. Alternativ kann das dreidimensionale interessierende Gebiet (x2*, y2*, z2*) so ausgewählt werden, dass es nur Objekte in einer Szene innerhalb oder auf der Oberfläche eines vordefinierten dreidimensionalen Volumens wie etwa des in 3A gezeigten Volumens 312 enthält.
-
Zusammengefasst werden die Daten von dem Entfernungssensor 14 genutzt, um in dem ersten Bild 20, das ein zweidimensionales Intensitätsbild ist, ein zweidimensionales interessierendes Gebiet auszuwählen. Anhand von 1 wird der Entfernungssensor 14 auf dasselbe Koordinatensystem wie die erste Kamera 12 kalibriert. Das Entfernungsbild 30 wird mit dem zweidimensionalen ersten Bild 20 (farbig oder monochrom) vereinigt, so dass dreidimensionale Positionsdaten als Kriterium für die Auswahl relevanter Teile des ersten Bilds 20 verwendet werden können. Das Entfernungsbild 30 von dem Entfernungssensor 14 wird in eine dreidimensionale Abtastung von Punkten umgesetzt, die gefiltert werden kann, um nur Punkte in einem dreidimensionalen interessierenden Gebiet zu ermitteln. Das dreidimensionale interessierende Gebiet wird daraufhin auf die zweidimensionale erste Bildebene 26 der ersten Kamera 12 zurück abgebildet, was ein zweidimensionales interessierendes Gebiet in dem ersten Bild 20 liefert.
-
Dieses zweidimensionale interessierende Gebiet kann daraufhin durch herkömmliche Computervisionstechniken verarbeitet werden, während andere, nicht relevante Teile des zweidimensionalen ersten Bilds 20 ignoriert werden. Mit anderen Worten, ein Entfernungsbild 30 von dem Entfernungssensor 14 wird verwendet, um ein zweidimensionales Graustufen- oder Farbintensitätsbild zu segmentieren. Dies ermöglicht eine Bildsegmentierung, die ohne Informationen des Entfernungsabstands 36 (siehe 1) schwierig oder unmöglich sein kann. Dieser Prozess kann mit einem niedrigauflösenden Entfernungssensor 14 ausgeführt werden. Die Segmentierung kann den Abschnitt des ersten Bilds 20, der verarbeitet werden muss, erheblich verringern und dadurch die Geschwindigkeit des Prozesses erhöhen.
-
Der Prozess 100 kann genutzt werden, um eine Szene 22 zu segmentieren, bei der die Strukturelemente in dem Blickfeld sehr ähnlich sind und einen sich als Funktion des Entfernungsabstands 36 (d) ändernden Maßstab oder zufälligen Maßstab aufweisen, so dass typische dem Fachmann auf dem Gebiet bekannte Techniken ungeeignet sind. Bei dem Prozess 100 kann ein Objekt 38 bei der Zielentfernung durch die zweidimensionale erste und/oder zweite Kamera 12, 50 zur weiteren Analyse innerer Merkmale leicht segmentiert werden. Außerdem kann der Prozess 100 für die Entfernungsanpassung genutzt werden, bei der die Segmentierungszielentfernung relativ zu der Messung des nächsten Objekts 38 (mit einer minimalen Größe) in dem Blickfeld oder des Weitesten, das ein Objekt oder eine Hintergrundebene sein könnte, ausgewählt wird. Wenn die Entfernung des nächsten Objekts ermittelt worden ist, kann die Segmentierung um dieses erfolgen (dies würde das nächste Objekt segmentieren) oder könnte ein Objekt oder eine Ebene relativ zu dem hintersten Objekt oder zu der hintersten Ebene ausgewählt werden.
-
Wie oben angemerkt wurde, kann der Controller 40 aus 1 eine Computervorrichtung enthalten, die ein Betriebssystem oder einen Prozessor 42 und Speicher 44 zum Speichern und Ausführen durch einen Computer ausführbarer Anweisungen nutzt. Die durch einen Computer ausführbaren Anweisungen können aus Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielzahl von Programmiersprachen und/oder Programmiertechnologien einschließlich ohne Beschränkung und entweder allein oder zusammen JavaTM, C, C++, Visual Basic, Java Script, Perl usw. erstellt werden. Im Allgemeinen empfängt ein Prozessor 72 (z. B. ein Mikroprozessor) z. B. aus einem Speicher, aus einem computerlesbaren Medium usw. Anweisungen und führt diese Anweisungen aus und führt dadurch einen oder mehrere Prozesse einschließlich eines oder mehrerer der hier beschriebenen Prozesse aus. Solche Anweisungen und andere Daten können unter Verwendung einer Vielzahl computerlesbarer Medien gespeichert und übertragen werden.
-
Ein computerlesbares Medium (hier auch als ein prozessorlesbares Medium bezeichnet) enthält ein nicht vorübergehendes (z. B. konkretes) Medium, das an der Bereitstellung von Daten (z. B. Anweisungen), die durch einen Computer (z. B. durch einen Prozessor eines Computers) gelesen werden können, beteiligt ist. Ein solches Medium kann viele Formen, einschließlich, aber nicht beschränkt auf, nichtflüchtiger Medien und flüchtiger Medien, annehmen. Nichtflüchtige Medien können z. B. optische oder magnetische Platten und einen anderen persistenten Speicher enthalten. Flüchtige Medien können z. B. einen dynamischen Schreib-Lese-Speicher (DRAM), der einen Hauptspeicher bilden kann, enthalten. Solche Anweisungen können durch eines oder mehrere Übertragungsmedien, einschließlich Koaxialkabeln, Kupferdraht und Glasfasern, einschließlich der Drähte, die einen Systembus umfassen, der mit einem Prozessor eines Computers gekoppelt ist, übertragen werden. Einige Formen computerlesbarer Medien enthalten z. B. eine Diskette, eine flexible Platte, eine Festplatte, ein Magnetband, irgendein anderes magnetisches Medium, eine CD-ROM, eine DVD, irgendein anderes optisches Medium, Lochkarten, Papierband, irgendein anderes physikalisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, irgendeinen anderen Speicherchip oder irgendeine andere Speicherkassette oder irgendein anderes Medium, von dem ein Computer lesen kann.
-
Die ausführliche Beschreibung und die Zeichnungen oder Figuren dienen zur Unterstützung und Beschreibung der Erfindung, wobei der Schutzumfang der Erfindung aber allein durch die Ansprüche definiert ist. Obwohl einige der besten Ausführungsarten und andere Ausführungsformen zur Ausführung der beanspruchten Erfindung ausführlich beschrieben worden sind, gibt es verschiedene alternative Entwürfe und Ausführungsformen, um die in den beigefügten Ansprüchen definierte Erfindung zu verwirklichen. Darüber hinaus sind die in den Zeichnungen gezeigten Ausführungsformen oder die Eigenschaften verschiedener in der vorliegenden Beschreibung erwähnter Ausführungsformen nicht notwendig als voneinander unabhängige Ausführungsformen zu verstehen. Vielmehr ist es möglich, dass jede der in einem der Beispiele einer Ausführungsform beschriebenen Eigenschaften mit einer oder mit mehreren anderen gewünschten Eigenschaften aus anderen Ausführungsformen kombiniert werden kann, was zu anderen Ausführungsformen führen kann, die nicht verbal oder durch Bezugnahme auf die Zeichnungen beschrieben sind. Dementsprechend liegen solche anderen Ausführungsformen im Rahmen des Schutzumfangs der beigefügten Ansprüche.
