AT501882B1 - Verfahren zum erkennen von gegenständen - Google Patents

Description

2 AT 501 882 B1

Die Erfindung betrifft ein Verfahren zum Erkennen oder Feststellen von Gegenständen gemäß dem Oberbegriff des Patentanspruches 1.

Aus der US 6185314 B1 ist ein Verfahren der eingangs genannten Art bekannt. Dieses Verfahren bedingt einen ausgesprochen umfangreichen Rechenaufwand.

Ziel der Erfindung ist die Feststellung bzw. das Erkennen von Gegenständen in möglichst rascher und exakter Weise, um z.B. auf Fahrzeugen sich vor dem Fahrzeug bzw. seitlich davon befindliche Gegenstände, z.B. Fußgänger, abgestellte Fahrzeuge, Bäume od. dgl., erkennen zu können. Diese Erkennung soll mit geringem Rechenaufwand möglich sein, um exakte Ergebnisse möglichst rasch zur Verfügung zu haben.

Diese Ziele werden bei einem Verfahren der eingangs genannten Art durch die im Kennzeichen des Anspruches 1 angeführten Merkmale erreicht.

Das Prinzip der Erfindung ist die Fusion von Daten unterschiedlicher Sensoren, d.h. von einem Gerät zur Bildaufnahme und einem Gerät zur Feststellung von Distanzen. Diese Geräte können zueinander bzw. zu dem Träger bzw. zu dem Fahrzeug, auf dem sie angeordnet sind, lageveränderlich bzw. beweglich sein; diese Bewegungsgeometrie bzw. die Geometrie der Lage ist jedoch festzulegen bzw. vorherzubestimmen, um die von den beiden Geräten abgegebenen Daten korrelieren zu können.

Von Vorteil kann es sein, wenn die Merkmale des Anspruches 2 verwirklicht sind, damit wird die Bildung der Hypothesen vereinfacht bzw. an die örtlichen Gegebenheiten angepasst.

Eine rechnerisch einfache Auswertung ergibt sich, wenn die Merkmale der Ansprüche 3 und 4 verwirklicht sind. Bei Berücksichtigung dieser Merkmale ist es vorteilhaft möglich, Objekte von mobilen Plattformen, wie z.B. Fahrzeugen, zu detektieren.

Die Bildauswertung wird mit den Merkmalen der Ansprüche 5 und 6 vereinfacht. Mit den Merkmalen des Anspruches 7 wird der Rechenvorgang vereinfacht, da auf bereits vorliegende Ergebnisse zurückgegriffen werden kann.

Die Erfindung betrifft ferner ein Computerprogrammprodukt gemäß Anspruch 9.

Im Folgenden wird die Erfindung anhand der Zeichnung beispielsweise näher erläutert.

Anhand der Fig. 1, die eine Übersicht über die Durchführung des eingangs genannten Verfahrens ergibt, werden die erfindungsgemäßen Schritte näher erläutert:

Das Radargerät kann prinzipiell durch ein beliebiges Distanzmesssystem, das die Distanz vom Sensor zum Hindernis misst, ersetzt werden, die Kamera kann durch ein beliebiges bildgebendes Aufnahmeverfahren bzw. -gerät ersetzt werden.

Die Detektion von Objekten, d.h. von Gegenständen, in dem durch die Sensoren der beiden Geräte erfassten Raum basiert auf der gleichzeitigen Verfolgung von Hypothesen für die Zielobjekte, d.h. Gegenstände, wobei in jeder Hypothese Daten beider Geräte bzw. deren Sensoren fusioniert werden, und die Verteilung der Hypothesen multimodal ist.

Das erfolgsgemäße Verfahren erfolgt in vier wesentlichen Schritten: 1. Einlesen der Daten zum Zeitpunkt t 2. Generation von Hypothesen für Zielobjekte, durch a) Generation von neue Hypothesen aus den Daten der Sensoren der Geräte, d.h. Bildaufnahme- oder -verarbeitungsgerät und Distanzmessgerät, resultierend in den Hypothesen 3 AT 501 882 B1 (Hl(t)......Hn(t)}. b) Übertragung von Hypothesen aus dem vorhergehenden Zeitpunkt, resultierend in den Hypothesen (Hn+i(t).....(HN(t)}. 3. Bestimmung des Evidenzwertes für alle Hypothesen (H^t), ... HN(t)} aus den Daten beider 5 Geräte, resultierend in N Wahrscheinlichkeitswerten (PfH^t)).....Ρ(ΗνΜ)}. 4. Vorhersage eines Satzes von Hypothesen {H'i(t+1), .... H’n(t+1)} für den folgenden Zeitpunkt.

Schritte 1 bis 4 werden wiederholt, solange das Verfahren vorgenommen wird bzw. die Gegens-io tandserkennung aktiviert ist. Hindernisse bzw. Objekte werden dann detektiert bzw. als vorhanden bewertet, wenn der Evidenzwert einer oder mehrerer Hypothesen einen Schwellwert überschreitet. Die Gesamtanzahl von Hypothesen N bleibt während des Vorgangs konstant, z.B. N=200. Für den Anfangszeitpunkt ergibt sich für die Zahl der neu generierten Hypothesen n=N (d.h. alle Hypothesen werden neu generiert). Dies gilt ebenfalls, wenn der Datenstrom unter-15 brachen wird oder keine der vorhergehenden Hypothesen einen positiven Evidenzwert hat.

In allen anderen Fällen ist die Zahl der neu generierten Hypothesen n<N. Es ergibt sich n=0, wenn keine neue Hypothesen generiert werden können. 20 Schritt 1: Einlesen der Daten lradar(Z) und lkamera(x.y) von den Sensoren desjenigen Gerätes.

Schritt 2:

Es erfolgt eine Generierung von n neuen Hypothesen (H^t),... Hn(t)}: 25

Jede Hypothese besteht aus einer Reihe von Parametern für das Objektmodel wie in M.lsard, A.BIake: Condensation - conditional density propagation for visual tracking. In International Journal on Computer Vision, 1998 für Objektmodelle im Bildbereich beschrieben. Das verwendete Objektmodell hat zwei Repräsentationen {Mradar, Mkamera} und einen Geschwindigkeitspara-30 meter {v}. Mradar repräsentiert das Objekt im Datensatzraum des Radarsensors, Mkamera repräsentiert das Objekt im Datensatzraum des Kamerasensors. Mradar = fradar (Zc, σ), wobei fradar vorteilhafterweise eine Gaußverteilung mit Mittelpunkt auf Distanz Zc und Breite σ ist (Distanzstreuung) (Fig. 2a). 35 Mkamera = fkamera (Xc> yc. w, h) wobei fkamera einer rechteckigen Bildregion entspricht. {Xc, yc} ist der Mittelpunkt der Bildregion in Bildkoordinaten, w und h sind die Breite und Höhe der Bildregion. Zuerst werden im Radarsignal lradar(Z) lokale Maximal gesucht, Anfangend mit dem Größten werden für jedes Maximum Hypothesen generiert. Für jede Hypothese werden die Werte Zc und σ zufällig leicht gestreut. Die Evidenz Pradar wird durch das Integral 40

Pradar = hradaAT) ' fradar (Zc,o)dZ über den ganzen Bereich von Z bestimmt. Für jede Hypothese {Mradar, Pradar} mit genügende Evidenz werden mehrere Hypothesen für die Repräsentation im Raum der Kameradaten generiert {Μ^β^, Mkamera2, ...}. 45 Für jedes Model Mkamera gegeben durch fkamera(Xc· yc. w, h) werden folgende Parameter bestimmt: - Xc, wird mit dem Wert einer Position im Bild initialisiert. Dieser Wert kann entweder ein vorgegebener Bildpunkt oder - falls Fahrspurdaten vorhanden sind - im Zentrum einer der Fahrspuren so sein. - yc = yHorizont - Ay, wobei yHOrizont der vertikale Bildposition des Horizontes und Ay einer tiefenabhängigen Höhenkorrektur entspricht. 55 - w = fp|Xei W/Z und ist die projizierte Breite des Suchraumes W in Bildkoordinaten 4 AT 501 882 B1 - h = fpixei H/Z und ist die projizierte Höhe des Suchraums H in Bildkoordinaten

Die Werte Xc, yc, w und h werden durch Überprüfung der Evidenzwerte aller Regionen in einem horizontalen Bildbereich mit Position und Höhe abgeleitet von Zc, der Kamerageometrie und der 5 Maximalhöhe des gesuchten Objektes bestimmt. Figur 2b zeigt ein Beispiel für den Suchbereich für einen bestimmten Wert von Zc. Für den gesamten Suchbereich werden die Evidenzwerten wie in Schritt 3 beschrieben bestimmt. Um jedes lokale Minimum von S(x) herum wird die Hypotheseposition Xc bestimmt, w wird bestimmt durch den stärksten horizontalen Bildgradienten symmetrisch um Xc,; h und yc werden durch die obere und untere Begrenzung der Region neu io bestimmt. Insgesamt werden n Hypothesen generiert, wobei die Parameter verschiedener Regionen {Xc,yc,h,w} leicht gestreut werden. Figur 2b zeigt Hypothesen für verschiedene Regionen.

Jede neu generierte Hypothese besteht aus den Parametern {Zc, o, Xc, yc. w, h, {v}}, wobei 15 {v}={vx,vy,vz} den Vektor für die Geschwindigkeit des Objektes in drei Dimensionen bezeichnet, v wird mit den Werten {0,0,0} initialisiert.

Die beschriebene Methode zur Generierung von Hypothesen ergibt eine multimodale Verteilung der Hypothesen {H^t).....Hn(t)>. 20

Schritt 3:

Es erfolgt eine Bestimmung der Evidenzwerte {P(Hi(t)....... P(HN(t))} für alle Hypothesen, {Hi(t), ... HN(t)} und Anpassung der Modelparameter fkamera (Xc. yc. w, h) wie dies in Fig. 3 sche-25 matisch dargestellt ist. - Der Gesamtevidenz ist gegeben durch: P(Hyp) = Pradar(Hyp). Pkamera(Hyp) - Pradar wird bestimmt, wie in Schritt 2 beschrieben. - Pkamera wird bestimmt mittels Überprüfung des Bildinhaltes des betreffenden Models. Die 30 benützte Methode ist von dem gesuchten Objekt abhängig. - Für die beispielsweise näher erläuterte Detektion von Fahrzeugen wird ein fahrzeugspezifisches Bildüberprüfungsverfahren angewendet, das den Bildinhalt auf symmetrische Regionen überprüft. Für die Überprüfung von anderen Gegenständen werden andere spezifische Bildüberprüfungsverfahren eingesetzt. 35

Die Bildregion {xc, yc, w, h} wird in verschiedenen Bildauflösungen (Bildpyramiden) dargestellt, wobei die Berechnung von Z abhängig ist. Dabei entspricht jedes Pixel einer Größe von 10x10 cm (oder 20x20 cm oder 50x50 cm je nach Pyramiden-Auflösung) für die gegebene Distanz Zc. 40

Bildeigenschaften der Bildregion werden in jeder Pyramiden-Auflösung überprüft, wobei die horizontale Gradienten G(x, y) mittels eines 3x3 Sobel-Filters bestimmt werden.

Die Symmetriefunktion S(x) für horizontale Symmetrie wird bestimmt durch: 45 1 H W-Δ δ(χ)=ΜνΐΣ lG(x + 5,y)-G(x-5,y) N(X)y=-[ 8=Δ so wobei, H und W der Zahl von Reihen und Spalten der jeweiligen Region und Δ der halben Breite des Fensters entsprechen. Δ wird so gewählt, dass 2Δ der maximalen Breite des Fahrzeuges entspricht. - N(x) ist die Normalisierungsfunktion gegeben durch 55 5 AT 501 882 B1 w-& N(x)= l(D(x + S) + D(x-S)) s=ä wobei

5 H D(x)= lG(x,y) y=1 - Jedes Lokale Minimum von S(x) mit einer Minimaldistanz von 0,5 m entspricht dem Zentrum einer symmetrischen Bildregion. 10 - Für jedes Minimum wird einen Konfidenzwert aus der Summe der absoluten Differenzen zwischen allen spiegelsymmetrischen Pixelpaaren der Bildregion mit einer Breite von 2Δ bestimmt. 15 - Der Evidenzwert Pkamera wird aus dem höchsten Konfidenzwert über einen Minimalwert von der Ebene mit höchster Auflösung bestimmt. Wenn die Ebene mit der höchsten Auflösung keinen Konfidenzwert über dem Minimalwert hat, wird die nächste Auflösung herangezogen. - Die Modelparametern Mkamera = fkamera (Xc. yc. w, h) werden an den Bildinhalt angepasst, Xc wird 20 bestimmt durch das gefundene Minimum in S(x); w wird bestimmt durch den stärksten horizontalen Bildgradienten symmetrisch um xd die vertikalen Parameter der Bildregion h und yc werden durch die Bestimmung der oberen und unteren Begrenzung der Region neu bestimmt. Die obere Begrenzung wird vom stärksten vertikalen Bildgradienten oberhalb des Initialwertes von yc bestimmt. Die untere Begrenzung wird durch die niedrigsten Intensitätswerte unterhalb des 25 Initialwertes von yc bestimmt. Diese entspricht dem Schatten des Fahrzeuges auf der Grundebene, v wird in Schritt 4 neu bestimmt. - Für andere Objekte, wie z.B. Zweiradfahrer, Fußgänger und andere, übliche Straßenobjekten wie Verkehrstafeln, Straßenbeleuchtung und Seitenbepflanzung etc. werden objektspezifische 30 Bildüberprüfungsverfahren angewendet.

Schritt 4:

Vorhersage der Hypothesen {Hyt+1).....H'N(t+1)}, wie dies in Fig. 4 und 5 schematisch darge- 35 stellt ist. Die Verteilung der Hypothesen {H^t).....HN(t)} wird neu abgetastet mittels zufallsverteilter Abtastung, gewichtet mit Evidenzwerten {P^t).....PnO)}, wobei Hypothesen mit einem hohen Evidenzwert mehrmals kopiert und Hypothesen mit einem niedrigen Evidenzwert weniger oft kopiert oder weggelassen werden. 40 Die neue Verteilung hat N-n Hypothesen {H'n+i(t).....H'N(t)}, wobei viele Hypothesen auf Stellen mit einer hohen Wahrscheinlichkeit für ein Hindernis liegen. Für jede neue Hypothese {H'n+1(t).....H'N(t)> wird eine Vorhersage für Zeitpunkt t+1 gemacht.

Daraus resultiert der Hypothesensatz {H'n+i(t+1), .... H’N(t+1)}. Die Vorhersage hat eine sto-45 chastische und eine deterministische Komponente:

Die Parameter jedes Models Mradar(t) und Mkarriera(t), {Ζς, σ} und {Χς, yc, w, h} werden mit einer objektabhängigen Streuungsbreite zufallsverteilt. Daraus resultieren für jede Hypothese in einem Model {M'radar(t+1), M'kamera(t+1 )}· 50

Die Modelparameter von {Μ’^^ί+Ι), M'kamera(t+1)} werden durch die Verfolgung der Bewegungsparameter v von vorhergehenden Modelparametern {{Mradar(t), Mkamera(t)}, {Mradar(t-1), Mkamera(t-1)}...} neu bestimmt. 55 Die Verteilung der Hypothese {H'n+i(t+1)..... H'N(t+1)} hat mehrere Modalitäten und wird als

Claims (8)

1. 6 AT 501 882 B1 Input für Schritt 2 im nächsten Zeitabschnitt verwendet. In Fig. 6 ist die Iteration dargestellt, die immer vorgenommen wird, um neue Hypothesensätze zu erstellen, die unmittelbar aus einer zu einem vorangehenden Zeitpunkt errechneten Hypo-5 thesen erstellt werden. Patentansprüche: io 1. Verfahren zum Erkennen oder Feststellen von Gegenständen, insbesondere von Hindernissen, mit zumindest einem Bildaufnahme- oder -verarbeitungsgerät, insbesondere einer Kamera, und mit zumindest einem Distanzmessgerät, z.B. Radargerät, welche Geräte mit einander überlappenden Bildbereichen und vorgegebener Geometrie und/oder räumlicher Lage und/oder Relativbewegung zueinander, insbesondere bezüglich eines(r) diese Geräte 15 abstützenden Trägers oder Plattform, vorzugsweise Fahrzeuges, angeordnet sind, wobei die Gegenstände und die Geräte bzw. der Träger zueinander eine Relativbewegung ausführen, und wobei zum Erkennen oder Feststellen der Gegenstände aus den aufgenommenen Bildern Hypothesen gebildet bzw. berechnet werden, dadurch gekennzeichnet, dass 20 - eine vorgegebene Anzahl (n) von Hypothesen {H^tJ.-.-H^t)} auf Basis bzw. durch Streu ung von sowohl von dem(n) Distanzsignal(en) als auch von dem(n) Bildsignal(en) abgeleiteten Parametern (Zc, σ, Xc, yc, w, h, v) berechnet werden, wobei Zc und σ die Parameter einer Gaußverteilung der Wahrscheinlichkeit der Anwesenheit eines Objektes als Funktion der Distanz sind, Xc und yc die Koordinaten des Mittelpunktes einer Bildregion sind, w die 25 projizierte Breite und n die projizierte Höhe eines Suchraumes sind und v der Vektor der Geschwindigkeit des Gegenstandes ist, - dass die Evidenzwerte {Ρ^,.,.ΡηΟ)} dieser Hypothesen {Hi(t),...Hn(t)} mittels zufallsverteilter Abtastung, insbesondere gewichtet, abgetastet werden, wobei insbesondere Hypothesen mit einem hohen Evidenzwert mehrmals selektiert bzw. kopiert und Hypothesen mit 30 einem niedrigen Evidenzwert weniger oft selektiert oder weggelassen werden und damit eine, insbesondere gleich große, Anzahl von neuen Hypothesen {Hn+1(t),...HN(t)} gebildet wird, - dass unter zufallsverteilter Streuung der Parameter aus diesen neuen Hypothesen ein Satz weiterer Hypothesen {H'n+i(t),...H'N(t)} generiert wird, 35 - dass für einen folgenden, zum Zeitpunkt t+1 einlangenden Satz von Bild- und Distanzsig nalen und Bilddaten bzw. deren Parameter ein Satz von Summen-Hypothesen {Ητ(ΐ+1 ),...Hr,(t+1), H'n+i(t),...H'N(t)} generiert wird, d.h. die Summe der ursprünglichen Hypothesen basierend auf den Parametern zum Zeitpunkt t+1 kombiniert mit den weiteren Hypothesen zum Zeitpunkt t gebildet wird, wobei zur Ermittlung der Wahrscheinlichkeit der 40 jeweiligen Hypothesen {H’n+i(t),...H’N(t)} die aktuellen Daten der Sensoren der Geräte betreffend Distanzparameter und Bildparameter zum Zeitpunkt (t+1) herangezogen werden, -dass von diesen Summen-Hypothesen (Pges) die Evidenzwerte (Pi(t+1)... Pn(t+1), Pn+i(t+1)... PN(t+1)} ermittelt werden, 45 - dass zumindest der höchste bzw. beste Evidenzwert mit einem Schwellwert verglichen wird und - dass die Erfüllung des Vergleichskriteriums als positive Aussage für das Vorhandensein des Gegenstandes gewertet wird. so 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Hypothesen {H^t),...^^)} durch Streuung bzw. Variation der Distanzparameter (Zc, σ) und der Bildaufnahmeparameter (Xc, yc, w, h, v) unter Berücksichtigung der vorgegebenen Geometrie generiert werden.
2. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Evidenzwerte Pges 55 mit der Formel gebildet werden 7 AT 501 882 B1 Pges = Pradar· Pkamera “ ){lradar+kamera· fradar+kamera)dxdydZ wobei 5 Pradar ~ ilradar-frada/dxdydZ und Pkamera ~ ί Ikamera fkameradxdydz 10 ist, und die Ermittlung über den gesamten Parameterraum erfolgt und f vorzugsweise ein Gauß'sches Model ist und wobei mit Iradar der mit dem Distanzmessgerät und mit lkamera der mit dem Bildaufnahmegerät aufgenommene Datensatz bezeichnet ist.
3. 4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Evidenzwerte Pradar der Distanzhypothesen durch das Integral Pradar = \lradaAxyz).fradaixyz)dxdydz, vorzugsweise durch 20 Pradar ~ \lradar(Z)'fradardZ, bestimmt werden, d.h. über den ganzen Parameterraum bzw. den Bereich von Z bestimmt werden, wobei fradar ein Gauß'sches Model ist, und - dass die Evidenzwerte für die Bildhypothese durch das Integral 25 Pkamera = !(l(xyz). fkamera(xyz)dxdydz, vorzugsweise durch 30 Pkamera ~ ί(/(Xy\fkamera{Xci yc, W, h)dxdy, bestimmt werden, wobei fkaiT1era eine die gefundene Parallelität von Kanten und die bei der Bildauswertung gefundenen Symmetrieeigenschaften berücksichtigende Funktion ist, und die betrachtete Bildregion (Χς, yc, w, h) unter Berücksichtigung der Distanz bzw. distanzab-35 hängig in Hinblick auf horizontale Gradienten (G(xy)) und horizontale Symmetrie (S(x)) un tersucht und bewertet wird und bei Erfüllung vorgegebener Kriterien für die Gradienten und die Symmetrie in vorgegebenen Bildbereichen die Parameter dieser Bildbereiche für die Evidenzwertermittlung herangezogen werden.
4. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass n größer als die Zahl der im Distanzsignal erwarteten Maxima gewählt wird.
5. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Gesamtzahl N der neuen Hypothesen für die einzelnen zeitlich aufeinanderfolgenden Berech- 45 nungsschritte konstant gehalten wird, wobei nsN ist.
6. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Parame ter von insbesondere für den nächsten Schritt bzw. Betrachtungszeitraum neuen Hypothesen {Hn+1(t)........HN(t)} durch die Verfolgung der Parameter, insbesondere der Bewegungs- 50 Parameter v, von vorhergehenden Hypothesen {Hi(t-1) ... HN(t-1)..... Hift-m) ... HN(t-m)} neu bestimmt werden.
7. 8. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 7 zum Erkennen und Feststellen von Verkehrsteilnehmern, insbesondere von Fahrzeugen und Fußgängern, sowie von Gegenständen und Hindernissen auf Verkehrsflächen bzw. Straßen oder Plätzen. 55 8 AT 501 882 B1
8. 9. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche 1 bis 7 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. Hiezu 3 Blatt Zeichnungen 10 15 20 25 30 35 40 45 50 55