DE112017000273T9

DE112017000273T9 - Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild

Info

Publication number: DE112017000273T9
Application number: DE112017000273.7T
Authority: DE
Inventors: Yingfeng Cai; Lei Dai; Hai Wang; Xiaoqiang Sun; Long Chen; Haobin Jiang; Xiaobo Chen; Youguo He
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2016-08-03
Filing date: 2017-06-08
Publication date: 2019-01-03
Also published as: CN106295542A; AU2017307115B2; CA3032487C; DE112017000273T5; US20190197344A1; WO2018024030A1; CA3032487A1; JP2019523509A; US10635929B2; AU2017307115A1

Abstract

Die vorliegende Erfindung betrifft das Gebiet der maschinellen Sicht und offenbart ein ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild. Die spezifischen Schritte der vorliegenden Erfindung sind: Durchführen einer groben Extraktion eines Ausgeprägtheitsbereichs aus einem Nachtsicht-Infrarotbild unter Verwendung eines GBVS-Modells; Durchführen einer Reextraktion des Ausgeprägtheitsbereichs unter Verwendung einer auf der Frequenzdomäne der Hyperkomplexzahl basierenden Methode vom Spektrumskalenraum auf der Basis eines globalen Merkmals; Durchführen einer Fusion von globalen und lokalen Fäden in Bezug auf ein Ausgeprägtheitsbild ZZ unter Verwendung einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode, um ein endgültiges Ausgeprägtheitsbild zu erzielen. Das Verfahren kombiniert die Ausgeprägtheit der Zeitdomäne und der Frequenzdomäne, des global Kontrastes und des lokalen Kontrastes sowie der Merkmale auf hohem Niveau und der Merkmale auf niedrigem Niveau, und die Energiestrahlung wird ebenfalls als ein wesentlicher Faktor betrachtet, so dass das Objekt der Verarbeitung kein übliches natürliches Bild, sondern ein Infrarotbild ist, nämlich mit einer Methode zum Verarbeiten des Infrarotbilds wird eine Extraktion eines ausgeprägten Bereichs auf der Energiestrahlung basierend durchgeführt; aufgrund dessen ist das erhaltene Extraktionsergebnis des ausgeprägten Bereichs genauer und gründlicher, und die Kontur des Ziels des Ausgeprägtheitsbereichs ist klarer.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft das Gebiet der maschinellen Sicht, insbesondere ein ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild.
STAND DER TECHNIK
Der visuelle Ausgeprägtheitsmechanismus kann dazu verwendet werden, ausgeprägte Bereiche mit einem erheblichen Einfluss auf die Verkehrssicherheit aus den komplexen Straßenszenen zu extrahieren, was die Basis für die Weiterverarbeitung von Computer-Sicht bildet und die Effektivität und Effizienz der Weiterverarbeitung von Computer-Sicht verbessert. Wenn in Bezug auf die komplexen Straßenszenen eine Computer-Sichtverarbeitung für alle Inhalte durchgeführt wird, wird der Computer eine sehr große Datenverarbeitungsmenge mit einer sehr niedrigen Verarbeitungseffizienz haben. So wurden die Forscher durch den visuellen Aufmerksamkeitsmechanismus des menschlichen Sehsystems inspiriert und wünschten, dass analog zu dem menschlichen Sehsystem die maschinelle Sicht ebenfalls die ursprünglich eingegebenen Daten zuerst filtert, wodurch die Menge an Berechnung für die Weiterverarbeitung reduziert und die Verarbeitungseffizienz verbessert wird, aufgrund dessen wurde ein visuelles Ausgeprägtheitsmodell der maschinellen Sicht erhoben.
Die visuelle Ausgeprägtheit ist ein Begriff von der Neurophysiologie und Psychologie, die Neurophysiologen und Psychologen aus verschiedenen Ländern haben viele Modelle zum Erklären der Aufmerksamkeit des menschlichen Sehsystems erhoben, z.B. einen Peripherie-Zentral-Nervenunterdrückungsmechanismus zum Simulieren der effizienten Datenfilterfähigkeit des Aufmerksamkeitsmechanismus des menschlichen Sehsystems, unter dem Inspirieren führten die Forscher aus verschiedenen Ländern eine umfangreiche und gründliche Forschung in Bezug darauf durch, wie der maschinellen Sicht eine Datenfilterfähigkeit wie die Ausgeprägtheit der menschlichen Sicht zu verleihen.
Das chinesische Patent ( CN102999926A ) offenbart eine auf der Fusion der Low-Level-Merkmale basierende visuelle Ausgeprägtheitsberechnungsmethode des Bildes, die Methode führt eine Fusion von Farbe, Textur und anderen Low-Level-Merkmalen durch, um einen Ausgeprägtheitsbereich zu erzielen, allerdings basiert es nur auf den Low-Level-Merkmalen und berücksichtigt die Merkmale auf hohem Niveau, aufgrund dessen ist die Extraktion der Ausgeprägtheit nicht genau. Das chinesische Patent ( CN103020993A ) offenbart eine Detektionsmethode für die visuelle Ausgeprägtheit mit einer zweikanaligen Farbkontrastfusion, dabei wird eine Superpixel-Methode verwendet, um den Ausgeprägtheitswert zu berechnen und somit ein auf den Farbenmerkmalen basierendes Ausgeprägtheitsbild zu erzielen, allerdings handelt es sich bei der Methode nur um eine Verarbeitung innerhalb des Bereichs der Zeitdomäne und basiert nur auf den Farbenmerkmalen, dabei wird die Ausgeprägtheit in Bezug auf die Frequenzdomäne ignoriert, deshalb ist die Extraktion des Ausgeprägtheitsbereichs nicht vollständig. Im Vorgang der Extraktion des Ausgeprägtheitsbereichs haben die obigen Methoden jeweilige Mängel, und die Verarbeitung bezieht sich auf ein ursprüngliches natürliches Bild, dabei wird es nicht berücksichtigt, dass ein dem Originalbild zugeordnetes Nachtsicht-Infrarotbild verarbeitet werden kann, aufgrund dessen hat die Detektion in den Nachtstraßenszenen Mängel, dass die Genauigkeit schlecht ist, die Detektion anfällig für die Störung durch das Licht in der Hintergrundumgebung ist und die Kontur des Ausgeprägtheitsziels nicht klar ist.
Bei der vorliegenden Erfindung wird ein Einfluss des Lichts in der Nichtausgeprägtheits-Hintergrundumgebung in dem ursprünglichen Bild des sichtbaren Lichts durch eine Verarbeitung eines dem ursprünglichen Bild des sichtbaren Lichts entsprechenden Nachtsicht-Infrarotbildes vermieden, dadurch wird die Genauigkeit der Extraktion des Ausgeprägtheitsziels in den Nachtstraßenszenen verbessert.
INHALT DER VORLIEGENDEN ERFINDUNG
Hinsichtlich der Mängel aus dem Stand der Technik stellt die vorliegende Erfindung ein ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild zur Verfügung, um die Probleme der visuellen Aufmerksamkeitsmodelle aus dem Stand der Technik damit zu lösen, dass sie bei der Zieldetektion in den Nachtstraßenszenen eine schlechte Korrektheitsrate hat und anfällig für die Störung des Nichtausgeprägtheitsbereichs in den natürlichen Szenen und für den Einfluss des Lichts in den Nachtstraußenbildern ist sowie die Kontur des Ausgeprägtheitsziels nicht klar ist.
Um das obige technische Ziel zu erreichen, verwendet die vorliegende Erfindung die folgende technische Lösung:
Ein ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild, umfassend die folgenden Schritte:

S1: Durchführen einer groben Extraktion eines Ausgeprägtheitsbereichs auf der Grundlage des lokalen Kontrastes unter Verwendung eines GBVS-Modells (eines auf der Graphentheorie basierenden Bildausgeprägtheitsanalysealgorithmus) in Bezug auf das Nachtsicht-Infrarotbild des Straßenziels, um ein Ausgeprägtheitsbild CC des Nachtsicht-Infrarotbildes zu erzielen;
S2: Durchführen einer Reextraktion des Ausgeprägtheitsbereichs aus dem Ausgeprägtheitsbild CC unter Verwendung einer auf der Frequenzdomäne der Hyperkomplexzahl basierenden Methode vom Spektrumskalenraum auf der Basis eines globalen Merkmals, um ein Ausgeprägtheitsbild ZZ des Nachtsicht-Infrarotbilds zu erzielen;
S3: Durchführen einer Fusion von globalen und lokalen Fäden in Bezug auf das Ausgeprägtheitsbild ZZ unter Verwendung einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode, um ein Ausgeprägtheitsbild AA zu erzielen.

Bevorzugt umfasst das Durchführen einer Reextraktion des Ausgeprägtheitsbereichs aus dem Ausgeprägtheitsbild CC unter Verwendung einer auf der Frequenzdomäne der Hyperkomplexzahl basierenden Methode vom Spektrumskalenraum auf der Basis eines globalen Merkmals im Schritt S2 die folgenden Schritte:

S2.1: Durch ein integriertes Berechnen der roten, grünen und blauen Komponenten des Ausgeprägtheitsbildes CC werden 3 Merkmalsbilder U, RG und BY erzielt;
S2.2: Die Merkmalsbilder U, RG und BY werden integriert, durch ein Berechnen wird eine Hyperkomplexzahl-Matrix f(x,y) des Ausgeprägtheitsbildes CC erzielt;
S2.3: Durchführen einer Hyperkomplexzahl-Fourier-Transformation für die Hyperkomplexzahl-Matrix f(x,y), anschließendes Berechnen des Amplitudenspektrums A, des Phasenspektrums p und des Merkmalsachsenspektrums kk;
S2.4: Durchführen einer Faltung für das Amplitudenspektrum A, dadurch wird ein Spektrumskalenraum {AA_k} des Ausgeprägtheitsbildes CC erzielt;
S2.5: Berechnen und Erzielen einer Ausgeprägtheitsbildsequenz {Z_i} des Ausgeprägtheitsbildes CC auf der Grundlage des Spektrumskalenraums {AA_k} des Ausgeprägtheitsbildes CC;
S2.6: Auswählen einer Ausgeprägtheitsbildsequenz aus der Ausgeprägtheitsbildsequenz {Zi} unter Verwendung eines auf der maximalen Varianz basierenden Prinzips als Ausgeprägtheitsbild ZZ des Nachtsicht-Infrarotbildes.

Bevorzugt umfassen das Durchführen einer Fusion von globalen und lokalen Fäden in Bezug auf das Ausgeprägtheitsbild ZZ unter Verwendung einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode und das Erzielen eines Ausgeprägtheitsbildes AA im Schritt S3 die folgenden Schritte:

S3.1: Segmentieren des Ausgeprägtheitsbildes ZZ in eine Vielzahl von kleinen Bildbereichen unter Verwendung einer Superpixel-Segmentierungsmethode;
S3.2: Durchführen einer Berechnung für die mehreren kleinen Bildbereiche im Schritt S31. auf der Grundlage des globalen Kontrastes, um ein Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ zu erzielen;
S3.3: Durchführen einer Verarbeitung für das Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ unter Verwendung einer Schwellenwertsegmentierungsmethode, um jeweils ein Codierungswörterbuch BC des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und ein Codierungswörterbuch FC des Ausgeprägtheitsziels des High-Level-Modells zu erzielen;
S3.4: Berechnen eines Ausgeprägtheitsbildes des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und eines Ausgeprägtheitsbildes p_g(w_i) des Ausgeprägtheitsziels des High-Level-Modells;
S3.5: Durchführen einer Bildfusion von dem Ausgeprägtheitsbild des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des Ausgeprägtheitsziels des High-Level-Modells, um ein Ausgeprägtheitsbild des High-Level-Modells des Ausgeprägtheitsbildes ZZ zu erzielen;
S3.6: Durchführen einer Fusion von dem Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des High-Level-Modells, um ein endgültiges Ausgeprägtheitsbild AA zu erzielen.

Bevorzugt ist die Berechnungsformel der Hyperkomplexzahl-Matrix f(x,y) im Schritt S2.2 $f (x, y) = 0.5 \times U \vec{i} + 0.25 \times R G \vec{j} + 0.25 B Y \vec{k},$
dabei sind die Vektoren $\vec{i}, \vec{i}, \vec{k}$
jeweils Einheitsvektoren im kartesischen Koordinatensystem des dreidimensionalen Raums mit der gleichen Richtung wie x-, y- und z-Achse.
Bevorzugt ist die Berechnungsformel des Amplitudenspektrums A im Schritt S 2.3 A=|F(f(x,y))|, dabei stellt ||: das Ermitteln der Amplitude und F() die Hyperkomplexzahl-Fourier-Transformation dar.
Bevorzugt ist die Berechnungsformel der Ausgeprägtheitsbildsequenz {Z_i} im Schritt S2.5: $Z_{i} = g * {| F^{- 1} {A A_{k} (x, y) e^{k k \times p (x, y)}} |}^{2},$
dabei ist das Phasenspektrum p =φ (F(f(x,y))) und das Merkmalsachsenspektrum $k k = \frac{ν (F (f (x, y)))}{‖ ν (F (f (x, y))) ‖},$
| | stellt das Ermitteln der Amplitude, F() die Hyperkomplexzahl-Fourier-Transformation, φ() die Phase, g den Gauß-Kern, * die Faltung, x das Produkt, F^-1 die inverse Fourier-Transformation, v() das Ermitteln des Vektorteils nach der Fourier-Transformation und || || das Ermitteln des Moduls des Vektors dar.
Bevorzugt ist das Schwellenwertsegmentierungsprinzip des Codierungswörterbuchs BC des Hintergrundes des High-Level-Modells und des Codierungswörterbuchs FC des Ausgeprägtheitsziels des High-Level-Modells im Schritt S3.3: BC=w_i (if P_d(w_i)< λ₁), FC = w_i (if P_d(w_i)>λ,), dabei stellt λ1 den aus der Codierung des Hintergrundes ausgewählten Schwellenwert und λ2 den aus der Codierung des Ausgeprägtheitsziels ausgewählten Schwellenwert dar.
Bevorzugt hat das Erzielen des Ausgeprägtheitsbildes des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des Ausgeprägtheitsziels des High-Level-Modells im Schritt S3.4 den Berechnungsprozess: zufälliges Auswählen eines Gleichgewichtskoeffizienten µ zwischen der punitiven Berücksichtigung und der Regularisierung durch den Computer, so dass er $min (\sum_{i = 1}^{n} {‖ U_{i} - D b b_{i} ‖}^{2} + μ {‖ d d_{w_{i}} \circ b b_{i} ‖}^{2})$
erfüllt, dabei entspricht lokaler Adapter $d d_{w_{i}} = exp (\frac{{[d i s t (U_{i}, H_{1}), d i s t (U_{i}, H_{2}) \dots \dots d i s t (U_{i}, H_{n})]}^{T}}{α}),$
U_i bezieht sich auf die Beschreibung für das Nachtsicht-Infrarotbild, D auf das Codierungswörterbuch und ∘ auf die Multiplikation der Elemente, cc_i stellt die Kovarianzmatrix, λ den Regularisierungskoeffizienten, X das Produkt, tr(cc_i) die Summe der Diagonalelemente in der Matrix cc_i, H_n den Vektor des Codierungswörterbuchs, n die Anzah der Elemente in dem Codierungswörterbuch, α den Gewichtungskoeffizienten des lokalen Adapter; UND dist(U_i,H_n) den euklidischen Abstand zwischen U_i und H_n dar; somit erfüllen das Ausgeprägtheitsbild des Hintergrundes des High-Level-Modells und das Ausgeprägtheitsbild des Ausgeprägtheitsziels des High-Level-Modells P_g(w_i)=||U,-Dbb_i||².
Die vorliegende Erfindung hat folgende Vorteile: bei der vorliegenden Erfindung wird zuerst eine Vorextraktion der Ausgeprägtheit unter Verwendung des GBVS-Modells durchgeführt; dann wird das globale Merkmal auf der Grundlage unter Verwendung einer auf der Frequenzdomäne der Hyperkomplexzahl basierenden Methode vom Spektrumskalenraum extrahiert, dabei kann das Ausgeprägtheitsmerkmal in der Frequenzdomäne extrahiert werden, so dass die Ausgeprägtheit in der Zeitdomäne und die Ausgeprägtheit in der Frequenzdomäne miteinander kombiniert werden; am Ende wird eine Fusion von globalen und lokalen Ausgeprägtheitsmerkmalen unter Verwendung einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode durchgeführt, um die Kontur des Ausgeprägtheitsziels klar zu machen, dadurch werden die Genauigkeit der Extraktion des Ausgeprägtheitsziels und die Klarheit der Kontur verbessert. Bei der vorliegenden Erfindung wird der Ausgeprägtheitsbereich wirksam betont und der Nichtausgeprägtheitsbereich unterdrückt, um eine genauere Extraktion für das Ausgeprägtheitsziel zu realisieren.
Figurenliste

1 zeigt ein Ablaufdiagramm eines ausgeprägtheitsbasierten Verfahrens zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild.
2 zeigt ein Ablaufdiagramm einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode.
3 zeigt ein gemäß der vorliegenden Erfindung erzieltes Ausgeprägtheitsbild. 3(a) zeigt ein Nachtsicht-Infrarotbild eines Fußgängers. 3(b) zeigt ein gemäß der vorliegenden Erfindung erzieltes Ausgeprägtheitsbild eines Fußgängers. 3(c) zeigt ein Nachtsicht-Infrarotbild eines Fahrzeugs. 3(d) zeigt ein gemäß der vorliegenden Erfindung erzieltes Ausgeprägtheitsbild eines Fahrzeugs.

AUSFÜHRLICHE BESCHREIBUNG
Im Zusammenhang mit Figuren wird die vorliegende Erfindung im Folgenden näher erläutert, allerdings ist der Schutzumfang der vorliegenden Erfindung nicht darauf beschränkt.
Wie in 1 dargestellt, ein Ablaufdiagramm eines ausgeprägtheitsbasierten Verfahrens zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild, umfassend die folgenden Schritte:

S1: Durchführen einer groben Extraktion eines Ausgeprägtheitsbereichs auf der Grundlage des lokalen Kontrastes unter Verwendung eines GBVS-Modells (eines auf der Graphentheorie basierenden Bildausgeprägtheitsanalysealgorithmus) in Bezug auf das Nachtsicht-Infrarotbild des Straßenziels, um ein Ausgeprägtheitsbild CC des Nachtsicht-Infrarotbildes zu erzielen;
S1.1: Extrahieren eines Merkmalsbildes des Nachtsicht-Infrarotbildes unter Verwendung eines klassischen Itti-Sehmerkmalsmodells (ausgeprägtheitsbasierten visuellen Aufmerksamkeitsmodells);
S1.2: Bilden der Markov-Kette des Merkmalsbildes mittels des Markov-Random-Feldes;
Markov-Random-Feld: die Ausgeprägtheit des Pixels in einem kleinen Bereich des Bildes hängt nur von der Ausgeprägtheit eines dazu benachbarten Pixels, nicht von der Ausgeprägtheit der Pixeln an anderen Stellen ab, dann ist die Sammlung der Pixeln in diesem kleinen Bereich des Bildes ein Markov-Random-Feld;
S1.3: Durch ein Ermitteln der Gleichgewichtsverteilung der Markov-Kette wird ein Ausgeprägtheitsbild CC erzielt.
S2: Durchführen einer Reextraktion des Ausgeprägtheitsbereichs aus dem Ausgeprägtheitsbild CC unter Verwendung einer auf der Frequenzdomäne der Hyperkomplexzahl basierenden Methode vom Spektrumskalenraum (unter Verwendung der Hyperkomplexzahl-Fourier-Transformation wird das Ausgeprägtheitsbild CC von der Zeitdomäne in den Spektrumskalenraum der Frequenzdomäne der Hyperkomplexzahl umgewandelt) auf der Basis eines globalen Merkmals;
S2.1: Durch ein integriertes Berechnen der roten grünen und blauen Komponenten des Ausgeprägtheitsbildes CC werden 3 Merkmalsbilder U RG und BY erzielt; die Berechnungsformeln von den 3 Merkmalsbildern U, RG, BY des Ausgeprägtheitsbildes CC sind wie folgt: $U = (r + g + b) / 3$
$R G = [r - (g + b) / 2] - [g - (r + b) / 2]$
$B Y = [b - (r + g) / 2] - [(r + g) / 2 - | r - g | / 2 - b]$
Dabei sind r, g, b jeweils die rote, grüne und blaue Komponente des Ausgeprägtheitsbildes CC;
S2.2: Die Merkmalsbilder U RG und BY werden integriert, durch ein Berechnen wird eine Hyperkomplexzahl-Matrix f(x y) des Ausgeprägtheitsbildes CC erzielt; die Berechnungsformel der Hyperkomplexzahl-Matrix f(x, y) ist: $f (x, y) = 0.5 \times U \vec{i} + 0.25 \times R G \vec{j} + 0.25 B Y \vec{k}$
Dabei sind die Vektoren $\vec{i}, \vec{j}, \vec{k}$
jeweils Einheitsvektoren im kartesischen Koordinatensystem des dreidimensionalen Raums mit der gleichen Richtung wie x- y- und z-Achse.
52.3: Durchführen einer Hyperkomplexzahl-Fourier-Transformation für die Hyperkomplexzahl-Matrix f(x,y), anschließendes Berechnen des Amplitudenspektrums A, des Phasenspektrums p und des Merkmalsachsenspektrums kk; die Berechnungsformel des Amplitudenspektrums A ist: $A = | F (f (x, y)) |$
Dabei stellt I I: das Ermitteln der Amplitude und F() die Hyperkomplexzahl-Fourier-Transformation dar.
S2.4: Durchführen einer Faltung für das Amplitudenspektrum A, dadurch wird eine Berechnungsformel des Spektrumskalenraums {AA_k} des Ausgeprägtheitsbildes CC erzielt: ${A A_{k}} = g * A$
Dabei stellt g den Gauß-Kern und * die Faltung dar;
S2.5: Berechnen und Erzielen einer Ausgeprägtheitsbildsequenz {Z_i} des Ausgeprägtheitsbildes CC auf der Grundlage des Spektrumskalenraums {AA_k} des Ausgeprägtheitsbildes CC; die Berechnungsformel der Ausgeprägtheitsbildsequenz {Z_i} ist: $Z_{i} = g * {| F^{- 1} {A A_{k} (x, y) e^{k k \times p (x, y)}} |}^{2}$
Dabei ist das Phasenspektrum p=φ(F(f(x,y))) (8), und das Merkmalsachsenspektrum ist $k k = \frac{ν (F (f (x, y)))}{‖ ν (F (f (x, y))) ‖}$
(9); ∥ stellt das Ermitteln der Amplitude, F() die Hyperkomplexzahl-Fourier-Transformation, φ() die Phase, g den Gauß-Kern, * die Faltung, x das Produkt, F^-1die inverse Fourier-Transformation, v() das Ermitteln des Vektorteils nach der Fourier-Transformation und || ||. das Ermitteln des Moduls des Vektors dar.
S2.6: Auswählen einer Ausgeprägtheitsbildsequenz aus der Ausgeprägtheitsbildsequenz {Z_i} unter Verwendung eines auf der maximalen Varianz basierenden Prinzips als Ausgeprägtheitsbild ZZ des Nachtsicht-Infrarotbildes.
S3: Wie in 2 dargestellt, Durchführen einer Fusion von globalen und lokalen Fäden in Bezug auf das Ausgeprägtheitsbild ZZ unter Verwendung einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode, um ein Ausgeprägtheitsbild AA zu erzielen;
S3.1: Segmentieren des Ausgeprägtheitsbildes ZZ in eine Vielzahl von kleinen Bildbereichen unter Verwendung einer Superpixel-Segmentierungsmethode (die Superpixel-Segmentierung bezieht sich darauf, dass aus dem Ausgeprägtheitsbild AA ein durch eine Serie von den benachbarten Pixelpunkten mit ähnlichen Farben, Helligkeiten, Texturen und anderen Merkmalen ausgebildeter kleiner Bildbereich segmentiert ist);
S3.2: Durchführen einer Berechnung für die mehreren kleinen Bildbereiche im Schritt S31. auf der Grundlage des globalen Kontrastes S, um ein Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ zu erzielen; die Berechnung für die mehreren kleinen Bildbereiche auf der Grundlage des globalen Kontrastes hat den folgenden Prozess: $O K (w_{i}) = \frac{\sum_{q \in w_{i}} O K (q)}{N_{w_{i}}}$
Dabei bezieht sich OK(q) auf die Frequenz des Fallens des Pixels q auf den Ausgeprägtheitszielbereich, w_i auf die mehreren aus den Superpixeln segmentierten kleinen Bildbereiche und N_wi auf die Anzahl der auf die Bereche gefallenen Pixeln; $C K (w_{i}) = exp [- \frac{{(x - x_{o})}^{2}}{2 V_{x}^{2}} - \frac{{(y - y_{o})}^{2}}{2 V_{y}^{2}}]$
Dabei bezieht sich (x,y) auf die Durchschnittskoordinaten des Ausgeprägtheitsbildes ZZ, (x_o, y_o) auf die Bildmittelkoordinaten und V_x, V_y auf einen durch die Breite und die Höhe der kleinen Bildbereiche bestimmten Parameter; mit den Formeln (10), (11) kann das Ausgeprägtheitsbild P_d(w_i) des Low-Level-Modells erzielt werden; $P_{d} (w_{i}) = \frac{\sum_{j = 1}^{M} d d (w_{i}, c_{j})}{M} \times O K (w_{i}) \times C K (w_{i})$
Dabei bezieht sich cj auf die sich an der Grenze des Ausgeprägtheitsbildes ZZ befindlichen kleinen Bildbereiche, M auf die Anzahl der sich an der Grenze des Ausgeprägtheitsbildes ZZ befindlichen kleinen Bildbereiche und dd(w_i, c_j) auf die mittels der euklidischen Metrik ermittelte Differenz zwischen den kleinen Bildbereichen w_i und c_j;
S3.3: Durchführen einer Verarbeitung für das Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ unter Verwendung einer Schwellenwertsegmentierungsmethode (durch eine Methode der Einstellung des Schwellenwerts wird das Bild segmentiert), um jeweils ein Codierungswörterbuch BC des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und ein Codierungswörterbuch FC des Ausgeprägtheitsziels des High-Level-Modells zu erzielen; Das Schwellenwertsegmentierungsprinzip des Codierungswörterbuchs BC des Hintergrundes des High-Level-Modells und des Codierungswörterbuchs FC des Ausgeprägtheitsziels des High-Level-Modells ist: BC =w_i (if P_d(w_i)<λ₁), FC =w_i (if P_d (w_i)> λ₂), dabei stellt λ1 den aus der Codierung des Hintergrundes ausgewählten Schwellenwert und λ2 den aus der Codierung des Ausgeprägtheitsziels ausgewählten Schwellenwert dar.
S3.4: Das Berechnen eines Ausgeprägtheitsbildes des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und eines Ausgeprägtheitsbildes des Ausgeprägtheitsziels des High-Level-Modells hat den folgenden Prozess:
Der Computer wählt zufällig den Gleichgewichtskoeffizienten µ zwischen der punitiven Berücksichtigung und der Regularisierung aus, so dass er erfüllt: $min (\sum_{i = 1}^{n} {‖ U_{i} - D b b_{i} ‖}^{2} + μ {‖ d d_{w_{i}} \circ b b_{i} ‖}^{2})$
Dabei bezieht U_i sich auf die Beschreibung für das Nachtsicht-Infrarotbild, D auf das Codierungswörterbuch und ∘ auf die Multiplikation der Elemente;
In der Formel besteht $b b_{i} = \frac{1}{c c_{i} + λ \times t r (c c_{i})}$
Dabei bezieht sich cc_i auf die Kovarianzmatrix, λ auf den Regularisierungskoeffizienten, x auf das Produkt und tr(cc_i) auf die Summe der Diagonalelemente in der Matrix;
In der Formel (13) entspricht der lokale Adapter $d d_{w_{i}} = exp (\frac{{[d i s t (U_{i}, H_{1}), d i s t (U_{i}, H_{2}) \dots \dots d i s t (U_{i}, H_{n})]}^{T}}{α})$
Dabei stellt H_n den Vektor des Codierungswörterbuchs, n die Anzah der Elemente in dem Codierungswörterbuch, α den Gewichtungskoeffizienten des lokalen Adapter und dist(U_i,H_n) den euklidischen Abstand zwischen U_i und H_n dar;
Aus den Formeln (13), (14) und (15) können ein Ausgeprägtheitsbild des Hintergrundes des High-Level-Modells und eine Ausgeprägtheitsbildes p^g(wⁱ) des Ausgeprägtheitsziels des High-Level-Modells: $P_{g} (w_{i}) = {‖ U_{i} - D b b_{i} ‖}^{2}$
S3.5:Durchführen einer Bildfusion von dem Ausgeprägtheitsbild des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des Ausgeprägtheitsziels des High-Level-Modells um ein Ausgeprägtheitsbild des High-Level-Modells des Ausgeprägtheitsbildes ZZ zu erzielen;
S3.6: Durchführen einer Fusion von dem Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des High-Level-Modells um ein endgültiges Ausgeprägtheitsbild AA zu erzielen.
Mit dem ausgeprägtheitsbasierten Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild gemäß der vorliegenden Erfindung wird ein Ausgeprägtheitsbild des Fußgängers und Fahrzeugs gemäß 3 erzielt.

Die oben geschilderten Ausführungsformen sind bevorzugte Ausführungsformen der vorliegenden Erfindung, allerdings ist die vorliegende Erfindung nicht auf die obigen Ausführungsformen beschränkt. Alle durch den Fachmann auf diesem Gebiet durchgeführten offensichtlichen Verbesserungen, Ersetzungen oder Varianten ohne Abweichungen von der Essenz der vorliegenden Erfindung sollen als von dem Schutzumfang der vorliegenden Erfindung gedeckt angesehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

CN 102999926 A [0004]
CN 103020993 A [0004]

Claims

Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild, dadurch gekennzeichnet, dass es die folgenden Schritte umfasst: S1: Durchführen einer groben Extraktion eines Ausgeprägtheitsbereichs auf der Grundlage des lokalen Kontrastes unter Verwendung eines GBVS-Modells (eines auf der Graphentheorie basierenden Bildausgeprägtheitsanalysealgorithmus) in Bezug auf das Nachtsicht-Infrarotbild des Straßenziels, um ein Ausgeprägtheitsbild CC des Nachtsicht-Infrarotbildes zu erzielen; S2: Durchführen einer Reextraktion des Ausgeprägtheitsbereichs aus dem Ausgeprägtheitsbild CC unter Verwendung einer auf der Frequenzdomäne der Hyperkomplexzahl basierenden Methode vom Spektrumskalenraum auf der Basis eines globalen Merkmals, um ein Ausgeprägtheitsbild ZZ des Nachtsicht-Infrarotbilds zu erzielen; S3: Durchführen einer Fusion von globalen und lokalen Fäden in Bezug auf das Ausgeprägtheitsbild ZZ unter Verwendung einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode, um ein Ausgeprägtheitsbild AA zu erzielen.
Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild nach Anspruch 1, dadurch gekennzeichnet, dass das Durchführen einer Reextraktion des Ausgeprägtheitsbereichs aus dem Ausgeprägtheitsbild CC unter Verwendung einer auf der Frequenzdomäne der Hyperkomplexzahl basierenden Methode vom Spektrumskalenraum auf der Basis eines globalen Merkmals im Schritt S2 die folgenden Schritte umfasst: S2.1: Durch ein integriertes Berechnen der roten, grünen und blauen Komponenten des Ausgeprägtheitsbildes CC werden 3 Merkmalsbilder U, RG und BY erzielt; S2.2: Die Merkmalsbilder U, RG und BY werden integriert, durch ein Berechnen wird eine Hyperkomplexzahl-Matrix f(x, y) des Ausgeprägtheitsbildes CC erzielt; S2.3: Durchführen einer Hyperkomplexzahl-Fourier-Transformation für die Hyperkomplexzahl-Matrix f(x,y), anschließendes Berechnen des Amplitudenspektrums A, des Phasenspektrums p und des Merkmalsachsenspektrums kk; S2.4: Durchführen einer Faltung für das Amplitudenspektrum A, dadurch wird ein Spektrumskalenraum {AAk} des Ausgeprägtheitsbildes CC erzielt; S2.5: Berechnen und Erzielen einer Ausgeprägtheitsbildsequenz {Zi} des Ausgeprägtheitsbildes CC auf der Grundlage des Spektrumskalenraums {AAk} des Ausgeprägtheitsbildes CC; S2.6: Auswählen einer Ausgeprägtheitsbildsequenz aus der Ausgeprägtheitsbildsequenz {Zi} unter Verwendung eines auf der maximalen Varianz basierenden Prinzips als Ausgeprägtheitsbild ZZ des Nachtsicht-Infrarotbildes.
Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild nach Anspruch 1, dadurch gekennzeichnet, dass das Durchführen einer Fusion von globalen und lokalen Fäden in Bezug auf das Ausgeprägtheitsbild ZZ unter Verwendung einer auf der Fusion der globalen und lokalen Fäden basierenden Ausgeprägtheitsextraktionsmethode und das Erzielen eines Ausgeprägtheitsbildes AA im Schritt S3 die folgenden Schritte umfassen: S3.1: Segmentieren des Ausgeprägtheitsbildes ZZ in eine Vielzahl von kleinen Bildbereichen unter Verwendung einer Superpixel-Segmentierungsmethode; S3.2: Durchführen einer Berechnung für die mehreren kleinen Bildbereiche im Schritt S31. auf der Grundlage des globalen Kontrastes S, um ein Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ zu erzielen; S3.3: Durchführen einer Verarbeitung für das Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ unter Verwendung einer Schwellenwertssegmentierungsmethode S , um jeweils ein Codierungswörterbuch BC des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und ein Codierungswörterbuch FC des Ausgeprägtheitsziels des High-Level-Modells zu erzielen. S3.4: Berechnen eines Ausgeprägtheitsbildes des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und eines Ausgeprägtheitsbildes pg(wi) des Ausgeprägtheitsziels des High-Level-Modells; S3.5: Durchführen einer Bildfusion von dem Ausgeprägtheitsbild des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des Ausgeprägtheitsziels des High-Level-Modells, um ein Ausgeprägtheitsbild des High-Level-Modells des Ausgeprägtheitsbildes ZZ zu erzielen; S3.6: Durchführen einer Fusion von dem Ausgeprägtheitsbild des Low-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des High-Level-Modells, um ein endgültiges Ausgeprägtheitsbild AA zu erzielen.
Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild nach Anspruch 2, dadurch gekennzeichnet, dass die Berechnungsformel der Hyperkomplexzahl-Matrix f(x,y) im Schritt S2.2 $f (x, y) = 0.5 \times U \vec{i} + 0.25 \times R G \vec{j} + 0.25 B Y \times \vec{k}$
ist, wobei die Vektoren $\vec{i}, \vec{j}, \vec{k}$
jeweils Einheitsvektoren im kartesischen Koordinatensystem des dreidimensionalen Raums mit der gleichen Richtung wie x-, y- und z-Achse sind.
Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild nach Anspruch 2, dadurch gekennzeichnet, dass die Berechnungsformel des Amplitudenspektrums A im Schritt S 2.3 A=|F(f(x,y))| ist, wobei | |: das Ermitteln der Amplitude und F() die Hyperkomplexzahl-Fourier-Transformation darstellt.
Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild nach Anspruch 2, dadurch gekennzeichnet, dass die Berechnungsformel der Ausgeprägtheitsbildsequenz {Z_i} im Schritt S2.5 Z_i= g* |F^-1{AA_k(x,y)e^kk×p(x,y)}|² ist, wobei das Phasenspektrum p = φ(F(f(x,y))) und das Merkmalsachsenspektrum $k k = \frac{ν (F (f (x, y)))}{‖ ν (F (f (x, y))) ‖}$
entspricht, und wobei | | das Ermitteln der Amplitude, F() die Hyperkomplexzahl-Fourier-Transformation, φ() die Phase, g den Gauß-Kern, * die Faltung, x das Produkt, F^-1 die inverse Fourier-Transformation, v() das Ermitteln des Vektorteils nach der Fourier-Transformation und || || das Ermitteln des Moduls des Vektors darstellt.
Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild nach Anspruch 3, dadurch gekennzeichnet, dass das Schwellenwertssegmentierungsprinzip des Codierungswörterbuchs BC des Hintergrundes des High-Level-Modells und des Codierungswörterbuchs FC des Ausgeprägtheitsziels des High-Level-Modells im Schritt S3.3 BC=w_i (if P_d(w_i) <λ₁), FC=w_i(if p_d(w_i)>λ₂) ist, wobei λ1 den aus der Codierung des Hintergrundes ausgewählten Schwellenwert und λ2 den aus der Codierung des Ausgeprägtheitsziels ausgewählten Schwellenwert darstellt.
Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild nach Anspruch 3, wobei das Erzielen des Ausgeprägtheitsbildes des Hintergrundes des High-Level-Modells des Ausgeprägtheitsbildes ZZ und des Ausgeprägtheitsbildes des Ausgeprägtheitsziels des High-Level-Modells im Schritt S3.4 den Berechnungsprozess hat: zufälliges Auswählen eines Gleichgewichtskoeffizienten µ zwischen der punitiven Berücksichtigung und der Regularisierung durch den Computer, so dass er $min (\sum_{i = 1}^{n} {‖ U_{i} - D b b_{i} ‖}^{2} + μ {‖ d d_{w_{i}} \circ b b_{i} ‖}^{2})$
erfüllt, und wobei $b b_{i} = \frac{1}{c c_{i} + λ \times t r (c c_{i})}$
besteht, und wobei der lokale Adapter $d d_{w_{i}} = exp (\frac{{[d i s t (U_{i}, H_{1}), d i s t (U_{i}, U_{2}) \dots \dots d i s t (U_{1}, H_{n})]}^{T}}{α})$
erfüllt, und wobei sich U_i auf die Beschreibung für das Nachtsicht-Infrarotbild, D auf das Codierungswörterbuch und ∘ auf die Multiplikation der Elemente bezieht, und wobei cc_i die Kovarianzmatrix, λ den Regularisierungskoeffizienten, X das Produkt, tr(cc_i) die Summe der Diagonalelemente in der Matrix cc_i, H_n den Vektor des Codierungswörterbuchs, n die Anzahl der Elemente in dem Codierungswörterbuch, α den Gewichtungskoeffizienten des lokalen Adapter; UND dist(U_i, H_n) den euklidischen Abstand zwischen Ui und Hn darstellt; so dass das Ausgeprägtheitsbild des Hintergrundes des High-Level-Modells und das Ausgeprägtheitsbild des Ausgeprägtheitsziels des High-Level-Modells P_g(wi)=∥U_i-Dbb_i∥² erfüllt.