DE102021107587B4 - Verfahren zur Ermittlung einer Zielgröße - Google Patents

Verfahren zur Ermittlung einer Zielgröße Download PDF

Info

Publication number
DE102021107587B4
DE102021107587B4 DE102021107587.4A DE102021107587A DE102021107587B4 DE 102021107587 B4 DE102021107587 B4 DE 102021107587B4 DE 102021107587 A DE102021107587 A DE 102021107587A DE 102021107587 B4 DE102021107587 B4 DE 102021107587B4
Authority
DE
Germany
Prior art keywords
signal
feature
fft
sum
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021107587.4A
Other languages
English (en)
Other versions
DE102021107587A1 (de
Inventor
Torben Gräber
Michael Unterreiner
Hagen Jäger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102021107587.4A priority Critical patent/DE102021107587B4/de
Publication of DE102021107587A1 publication Critical patent/DE102021107587A1/de
Application granted granted Critical
Publication of DE102021107587B4 publication Critical patent/DE102021107587B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/14—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4445—Classification of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0232—Glass, ceramics, concrete or stone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/025—Change of phase or condition
    • G01N2291/0258—Structural degradation, e.g. fatigue of composites, ageing of oils

Landscapes

  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

Verfahren zur Ermittlung einer Zielgröße mittels eines Fahrzeugsensors (14) und einer Auswertevorrichtung (23), welche Zielgröße mindestens eine erste Zielgröße aus der Zielgrößengruppe umfasst bestehend aus:- Rollsplitt,- Schotter, und- Schnee, welches Verfahren die folgenden Schritte aufweist:A) Mit dem Fahrzeugsensor (14) wird ein Schall erfasst und in Abhängigkeit vom erfassten Schall ein erstes Signal (x(t)) erzeugt;B) aus dem ersten Signal (x(t)) wird eine vorgegebene erste Anzahl von zeitlich begrenzten ersten Signalbereichen (W1 - WN, WA) des ersten Signals (x(t)) erzeugt;C) aus den ersten Signalbereichen (W1 - WN, WA) werden durch eine erste diskrete Fourier-Transformation erste Spektren (FFT-W1 - FFT-WN, FFT-WA) berechnet;D1) ein erstes Merkmal wird ermittelt, welches die maximale Amplitude eines vorgegebenen ersten Signalbereichs (WA) relativ zur maximalen Amplitude mindestens eines zeitlich vorhergehenden ersten Signalbereichs (W1 - WN) charakterisiert;D2) ein zweites Merkmal wird ermittelt, welches die Rate der Nulldurchgänge in mindestens einem der ersten Signalbereiche (W1 -WN, WA) charakterisiert;D3) ein drittes Merkmal wird in Abhängigkeit von der Summe der Amplituden eines ersten Spektrums (FFT-W1 - FFT-WN, FFT-WA) in mindestens einem vorgegebenen Teil-Frequenzbereich (F1, F2, F3) ermittelt;E) durch ein Klassifikationsverfahren (S128) wird die Zielgröße ermittelt in Abhängigkeit von mindestens einem Merkmal aus der ersten Merkmalsgruppe bestehend aus:- erstes Merkmal- zweites Merkmal- drittes Merkmal.

Description

  • Die Erfindung betrifft ein Verfahren zur Ermittlung einer Zielgröße und eine Sensoranordnung zur Ausführung eines solchen Verfahrens.
  • Die EP 3 084 418 B1 zeigt ein Verfahren zur Bestimmung des Zustands einer Straße und des Zustands eines Reifens, bei dem eine Messung eines akustischen Signals erfolgt, eine Spektralleistungsdichte des akustischen Signals bestimmt wird, ein Frequenzintervall segmentiert wird, jedem Frequenzband ein Datum zugeordnet wird, und ein Zustand der Straße und des Reifens mit Hilfe einer Diskriminanzanalyse der Daten bestimmt wird.
    Die DE 102 59 979 A1 zeigt ein Verfahren zur Ermittlung eines Straßenzustands während des Fahrbetriebs eines Kraftfahrzeugs.
    Die DE 10 2015 106 403 A1 zeigt ein Verfahren zur Erkennung eines Zustands einer Fahrbahn anhand eines Echosignals einer Sensoranordnung.
    Die DE 10 2017 214 409 A1 zeigt ein System zum Erfassen eines Straßenoberflächenzustands.
  • Es ist daher eine Aufgabe der Erfindung, ein neues Verfahren zur Ermittlung einer Zielgröße und ein Fahrzeug zur Ausführung eines solchen Verfahrens bereitzustellen.
  • Diese Aufgabe wird gelöst durch den Gegenstand des Anspruchs 1 und den Gegenstand des Anspruchs 13.
  • Ein Verfahren zur Ermittlung einer Zielgröße mittels eines Fahrzeugsensors und einer Auswertevorrichtung, welche Zielgröße mindestens eine erste Zielgröße aus der Zielgrößengruppe umfasst bestehend aus:
    • - Rollsplitt,
    • - Schotter, und
    • - Schnee,
    weist die folgenden Schritte auf:
    • A) Mit dem Fahrzeugsensor wird ein Schall erfasst und in Abhängigkeit vom erfassten Schall ein erstes Signal erzeugt;
    • B) aus dem ersten Signal wird eine vorgegebene erste Anzahl von zeitlich begrenzten ersten Signalbereichen des ersten Signals erzeugt;
    • C) aus den ersten Signalbereichen werden durch eine erste diskrete Fourier-Transformation erste Spektren berechnet;
    • D1) ein erstes Merkmal wird ermittelt, welches die maximale Amplitude eines vorgegebenen ersten Signalbereichs relativ zur maximalen Amplitude mindestens eines zeitlich vorhergehenden ersten Signalbereichs charakterisiert;
    • D2) ein zweites Merkmal wird ermittelt, welches die Rate der Nulldurchgänge in mindestens einem der ersten Signalbereiche charakterisiert;
    • D3) ein drittes Merkmal wird in Abhängigkeit von der Summe der Amplituden eines ersten Spektrums in mindestens einem vorgegebenen Teil-Frequenzbereich ermittelt;
    • E) durch ein Klassifikationsverfahren wird die Zielgröße ermittelt in Abhängigkeit von mindestens einem Merkmal aus der ersten Merkmalsgruppe bestehend aus:
      • - erstes Merkmal
      • - zweites Merkmal
      • - drittes Merkmal.
  • Die drei genannten Merkmale haben sich als sehr vorteilhaft zur Ermittlung der genannten Zielgrößen erwiesen.
  • Gemäß einer bevorzugten Ausführungsform wird bei der Ermittlung des ersten Merkmals das Verhältnis der maximalen Amplitude des vorgegebenen ersten Signalbereichs zur maximalen Amplitude genau eines vorhergehenden ersten Signalbereichs berücksichtigt. Hierdurch kann mit geringer Rechenleistung das erste Merkmal vorteilhaft ermittelt werden.
  • Gemäß einer bevorzugten Ausführungsform wird bei der Berechnung des ersten Merkmals eine vorgegebene erste Mehrzahl von zeitlich vorhergehenden ersten Signalbereichen berücksichtigt, und zu jedem zeitlich vorhergehenden ersten Signalbereich wird eine erste Abweichung der maximalen Amplitude des vorgegebenen ersten Signalbereichs zur maximalen Amplitude des zeitlich vorhergehenden ersten Signalbereichs berechnet. In Anwendungsfällen mit vielen Einschlägen hat sich dieses Verfahren als sehr robust erwiesen.
  • Gemäß einer bevorzugten Ausführungsform ist das erste Merkmal abhängig von einem Summenwert, welcher Summenwert der Summe der berechneten ersten Abweichungen entspricht. Durch die Summenbildung ergibt sich eine gute Einordnung relativ zu vorhergehenden ersten Signalbereichen.
  • Gemäß einer bevorzugten Ausführungsform ist die erste Abweichung eine lineare Abweichung oder eine logarithmische Abweichung. Die Verwendung einer logarithmischen Abweichung hat sich als vorteilhaft erwiesen, wenn Einschläge deutlich höhere Signale bewirken als ein Zustand ohne Einschläge.
  • Gemäß einer bevorzugten Ausführungsform wird die erste Abweichung als Differenz oder als Betrag der Differenz berechnet. Alternativ ist es möglich, die Abweichung nur qualitativ und nicht quantitativ zu berücksichtigen.
  • Gemäß einer bevorzugten Ausführungsform wird zur Ermittlung des zweiten Merkmals die Anzahl der Nulldurchgänge in einem vorgegebenen ersten Bereich gezählt, welcher erste Bereich ausgewählt ist aus der Bereichsgruppe bestehend aus:
    • - mindestens ein Teilbereich mindestens eines erstens Signalbereichs;
    • - ganzer erster Signalbereich; und
    • - mehr als ein ganzer erster Signalbereich.
  • Diese Varianten sind jeweils vorteilhaft für bestimmte Anwendungsfälle.
  • Gemäß einer bevorzugten Ausführungsform wird zur Ermittlung des dritten Merkmals das Verhältnis der Summe der Amplituden des ersten Spektrums in dem mindestens einen vorgegebenen Teil-Frequenzbereich zur Summe der Amplituden des ersten Spektrums im gesamten Frequenzbereich berechnet. Durch diese Normierung sind die Ergebnisse besser miteinander vergleichbar und ggf. aufsummierbar für eine Mittelung über die Zeit.
  • Gemäß einer bevorzugten Ausführungsform werden zur Ermittlung des dritten Merkmals eine erste Summe der Amplituden des ersten Spektrums in mindestens einem ersten vorgegebenen Teil-Frequenzbereich und eine zweite Summe der Amplituden des ersten Spektrums in mindestens einem zweiten vorgegebenen Teil-Frequenzbereich berechnet, und das dritte Merkmal wird durch Vergleich der ersten Summe mit der zweiten Summe ermittelt. Diese relative Betrachtung unterschiedlicher Frequenzbereiche hat sich für die Robustheit der Prädiktion als vorteilhaft erwiesen.
  • Gemäß einer bevorzugten Ausführungsform wird zur Ermittlung des dritten Merkmals die Summe der Amplituden des ersten Spektrums in dem mindestens einen vorgegebenen Teil-Frequenzbereich auf die Frequenzbandbreite des vorgegebenen Teil-Frequenzbereichs normiert. Dies erleichtert die Vergleichbarkeit und eine zeitliche Mittelung.
  • Gemäß einer bevorzugten Ausführungsform wird im Schritt A) das erste Signal unter Anwendung eines Hochpassfilters erzeugt. Sehr niederfrequente Anteile des Signals sind für die Auswertung nicht unbedingt erforderlich. Statische Offsets und sehr niederfrequente Anteile des Signals werden herausgefiltert Diese Vorverarbeitung hat sich als vorteilhaft für die Berechnung der Merkmale D1 und D2 gezeigt.
  • Gemäß einer bevorzugten Ausführungsform wird die Zielgröße durch das Klassifikationsverfahren ermittelt in Abhängigkeit von mindestens zwei Merkmalen aus der ersten Merkmalsgruppe, weiter bevorzugt in Abhängigkeit von mindestens drei Merkmalen der ersten Merkmalsgruppe. In der Praxis haben sich zumindest bei einigen der Zielgrößen alle drei Merkmale als vorteilhaft erwiesen.
  • Eine Sensoranordnung weist einen Fahrzeugsensor und eine Auswertevorrichtung auf und ist dazu eingerichtet, ein solches Verfahren durchzuführen. Eine solche Sensoranordnung ermöglicht eine gute Klassifikation der genannten Zielgrößen.
  • Ein Fahrzeug weist eine solche Sensoranordnung auf. Hierdurch kann das Fahrzeug besser auf den Untergrund reagieren, ein stabileres Fahrverhalten ermöglichen und ggf. den Fahrer in gefährlichen Situationen warnen.
  • Weitere Einzelheiten und vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den im Folgenden beschriebenen und in den Zeichnungen dargestellten, in keiner Weise als Einschränkung der Erfindung zu verstehenden Ausführungsbeispielen sowie aus den Unteransprüchen. Es zeigen:
    • 1 ein Fahrzeug mit einer Sensoranordnung,
    • 2 in schematischer Darstellung einen Ablauf der Signalverarbeitung mit Aufteilung eines Audiosignals in erste Signalbereiche,
    • 3 eine Bearbeitung der Signalbereiche von 2,
    • 4 eine schematische Darstellung der Ermittlung einer Rate von Nulldurchgängen,
    • 5 ein Ergebnis einer Fourier-Transformation eines ersten Signalbereichs,
    • 6 in normierter Darstellung eine Rate von Nulldurchgängen bei unterschiedlichem Untergrund,
    • 7 in normierter Darstellung ein aus einer Fourier-Transformation eines ersten Signalbereichs ermitteltes Merkmal bei unterschiedlichem Untergrund, und
    • 8 in schematischer Darstellung einen Klassifikator.
  • Im Folgenden sind gleiche oder gleichwirkende Teile mit den gleichen Bezugszeichen versehen und werden üblicherweise nur einmal beschrieben. Die Beschreibung ist figurenübergreifend aufeinander aufbauend, um unnötige Wiederholungen zu vermeiden.
  • 1 zeigt ein Fahrzeug 10 mit vier Rädern 12 und vier jeweils einem Rad 12 zugeordneten Fahrzeugsensoren 14, welche jeweils über eine zugeordnete Datenleitung 16 mit einer Auswertevorrichtung 23 verbunden sind. Die Auswertevorrichtung 23 umfasst eine Recheneinheit, wobei die Berechnung hardwaremäßig beispielsweise auch teilweise in den Fahrzeugsensoren 14 zugeordneten Unterrecheneinheiten erfolgen kann. Die Auswertevorrichtung 23 kann somit zentral, dezentral oder teilzentral sein.
  • Die Fahrzeugsensoren 14 und die Auswertevorrichtung 23 bilden gemeinsam eine Sensoranordnung 20.
  • Die Auswertevorrichtung 23 ist beispielhaft mit einem Fahrerassistenzsystem 25 und mit einer Informationsanzeige 27 verbunden. Zudem ist die Auswertevorrichtung 23 bevorzugt mit einer Datenübertragungseinheit 29 verbunden.
  • Ziel der Auswertevorrichtung 23 ist die Ermittlung einer Zielgröße in Abhängigkeit von den Signalen der Fahrzeugsensoren 14. Die Zielgröße umfasst hierbei bevorzugt eine Information über die Räder 12 oder über die Beschaffenheit der Straße.
  • 2 zeigt das durch den Fahrzeugsensor 14 erzeugte erste Signal x(t), welches in einem Schritt S100 ermittelt wird und den durch den Fahrzeugsensor 14 erfassten Schall charakterisiert.
  • Aus dem ersten Signal x(t) werden in einem Schritt S102 fortdauernd erste Signalbereiche W erzeugt, welche bevorzugt jeweils eine vorgegebene Anzahl L von Werten umfassen, welche vorgegebene Anzahl L bevorzugt eine Zweierpotenz 2N1 mit N1 > 1 ist. Eine bevorzugte Anzahl L ist 256, 512 oder 1024. Dies ist vorteilhaft für eine ggf. folgende Fourier-Transformation. Für die weitere Berechnung sind die ersten Signalbereiche mit WA für den aktuellen ersten Signalbereich und W1, W2,...,WN für N zeitlich vorhergehende Signalbereiche bezeichnet. Bevorzugt wird das Verfahren in zeitlich vorgegebenen Abständen wiederholt durchgeführt, und die besonders benannten ersten Signalbereiche W1-WN und WA wandern entsprechend mit.
  • Anschließen werden in einem Schritt S104 aus den ersten Signalbereichen W1, W2,... ,WN, WA durch eine erste diskrete Fourier-Transformation erste Spektren FFT-W1, FFT-W2,...,FFT-WN und FFT-WA berechnet.
  • In Abhängigkeit von den ersten Signalbereichen W1-WN und WA und/oder den ersten Spektren FFT-W1-FFT-WN und FFT-WA können Merkmale berechnet werden. In Abhängigkeit von diesen Merkmalen kann durch ein Klassifikationsverfahren mindestens eine Zielgröße ermittelt werden aus einer Zielgrößengruppe bestehend aus
    • - Rollsplitt,
    • - Schotter, und
    • - Schnee.
  • 3 zeigt eine mögliche Berechnung eines ersten Merkmals, welches die maximale Amplitude eines vorgegebenen ersten Signalbereichs WA relativ zur maximalen Amplitude mindestens eines zeitlich vorhergehenden ersten Signalbereichs W1... WN charakterisiert. Hierdurch ist beispielsweise eine Einschlagdetektion von Steinen oder Wassertropfen möglich.
  • Zur Vorbereitung der Ermittlung des ersten Merkmals erfolgt eine Bearbeitung der ersten Signalbereiche W1 - WN und WA aus dem Schritt S102. Im Ausführungsbeispiel haben die ersten Signalbereiche positive und negative Werte, z.B. in einem vereinfachten Beispiel [-2, 2, -12, -50], und für eine Ermittlung des maximalen Ausschlags wird bevorzugt der Betrag bzw. Absolutwert abs der einzelnen Werte in den jeweiligen ersten Signalbereichen ermittelt, also im Beispiel [2, 2, 12, 50].
  • In einem anschließenden Schritt S112 wird in jedem ersten Signalbereich der darin vorkommende Maximalwert ermittelt, im Beispiel der Maximalwert 50.
  • Anschließend wird der Maximalwert jedes ersten Signalbereichs skaliert, bspw. in eine Dezibel-Skala (dB), also plog(I) = 20 log10(p(I)) mit dem positiven Maximalwert p(I) des jeweiligen Blocks I (1-N, A) und dem entsprechenden auf dB-Skala skalierten positiven Maximalwert plog(I). Es können natürlich auch alle Werte der ersten Signalbereiche skaliert werden, sofern sie benötigt werden.
  • Eine erste Möglichkeit zur Bestimmung des ersten Merkmals besteht darin, den Maximalwert des ersten Signalbereichs WA aus den Schritten S112 oder S114 ins Verhältnis zu setzen mit dem maximalen Maximalwert der ersten Signalbereiche W1 - WN und anschließend zu überprüfen, ob dieses Verhältnis größer als ein vorgegebener Grenzwert ist. Falls dies der Fall ist, kann von einem vergleichsweise starken Schall im aktuellen ersten Signalbereich WA ausgegangen werden, der bspw. durch einen Regentropfen oder einen Steinschlag erzeugt wurde. Wenn beispielsweise p(A) = 50 ist und p(2) = 5 der maximale Maximalwert von p(1) bis p(N) ist, wird das Verhältnis p(A)/p(2) = 10 gebildet. Bei kleinen Steinchen (z.B. Rollsplitt) beträgt das Verhältnis beispielsweise ca. 50, bei größeren Steinen (z.B. Schotter) ca. 60 und bei Regen oder nassem Schnee ca. 20 bis 30.
  • Eine zuverlässigere Auswertung ergibt sich dadurch, dass jeweils zwischen dem aktuellen ersten Signalbereich und jedem der zeitlich vorhergehenden N ersten Signalbereiche die Differenz des zugehörigen Maximalwerts (Schritt S112 oder S114) gebildet und aufsummiert wird. Bevorzugt wird der Betrag der Differenz berechnet. Durch diese Berechnung kann genauer ermittelt werden, inwieweit sich der Maximalwert des aktuellen ersten Signalbereichs WA unterscheidet vom Maximalwert der vorhergehenden ersten Signalbereiche W1-WN. Weiter bevorzugt erfolgt eine Normierung der Summe, indem sie durch die Anzahl Nc der berücksichtigten vorhergehenden Signalbereiche dividiert wird. In einer Formel ausgedrückt ergibt sich bei der Berechnung dieser Summe für den I-ten ersten Signalbereich WI P ( l ) = SUM [ c = 1 … Nc ] ( | p log ( l ) − p log ( l − c ) | ) / N C
    Figure DE102021107587B4_0001
    mit dem Summenoperator SUM von c=1 bis c=Nc. Wenn das Ergebnis P(I) größer als ein vorgegebener Grenzwert T1 ist, kann von einer großen Abweichung der maximalen Amplitude des aktuell betrachteten ersten Signalbereichs WA bzw. WI von den vorhergehenden ersten Signalbereichen W1 bis WN ausgegangen werden, und in Abhängigkeit von der Größe des Werts P(I) kann auf einen Einschlag eines großen Steins oder eines kleinen Steins oder aber eines Regentropfens oder einer feuchten Schneeflocke geschlossen werden.
  • 4 zeigt beispielhaft die Werte des aktuellen ersten Signalbereichs WA, aufgetragen als Kurve 80. In diesem ersten Signalbereich WA sind bspw. 64 Werte, 128 Werte, 256 Werte oder 1.024 Werte vorhanden. Es hat sich gezeigt, dass die Rate der Nulldurchgänge 82 des Signals im ersten Signalbereich als zweites Merkmal geeignet ist. So treten beispielsweise bei einem trockenen Untergrund weniger Nulldurchgänge während einer vorgegebenen Zeitdauer auf als bei einem nassen Untergrund bzw. als bei Schnee. Zur Bestimmung der Rate der Nulldurchgänge kann bspw. die Anzahl der Nulldurchgänge in einem vorgegebenen ersten Bereich gezählt werden, welcher erste Bereich ausgewählt ist aus der Bereichgruppe bestehend aus:
    • - Mindestens ein Teilbereich mindestens eines ersten Signalbereichs;
    • - Ganzer erster Signalbereich; und
    • - Mehr als ein ganzer erster Signalbereich.
  • Das Zählen kann beispielsweise dadurch erfolgen, dass jeder der Werte des ersten Signalbereichs WA mit dem nachfolgenden Wert verglichen wird, und wenn einer der Werte größer oder gleich Null ist und der andere Wert kleiner als Null ist, wird die Anzahl der Nulldurchgänge um den Wert 1 erhöht. Als Kriterium kann natürlich beispielsweise auch größer Null einerseits und kleiner oder gleich Null andererseits gewählt werden.
  • Im vorliegenden Beispiel sind im aktuellen ersten Signalbereich WA 10 Nulldurchgänge vorhanden. Entweder kann die Zahl 10 als die die Rate der Nulldurchgänge charakterisierende Zahl verwendet werden, oder die Zahl 10 kann durch die zeitliche Dauer des betrachteten Signalbereichs dividiert werden.
  • In beiden Fällen hält man als Ergebnis einen Ergebniswert, welcher die Rate der Nulldurchgänge charakterisiert und mit anderen Ergebnissen verglichen werden kann.
  • 5 zeigt schematisch das Spektrum FFT-WA aus dem Schritt S104 von 2. Die Linie 84 zeigt beispielhaft die Amplituden des Spektrums bei Nässe auf der Fahrbahn, und die Linie 86 zeigt die Amplituden des Spektrums bei trockener Fahrbahn. Die Amplituden können linear oder logarithmisch skaliert sein.
  • F1, F2 und F3 sind vorgegebene Frequenzbereiche. Der Frequenzbereich F1 erstreckt sich zwischen einer vorgegebenen Frequenz f1 und einer Frequenz f2. Der Frequenzbereich F2 erstreckt sich zwischen der vorgegebenen Frequenz f2 und einer Frequenz f3. Der Frequenzbereich F3 erstreckt sich zwischen der vorgegebenen Frequenz f3 und einer Frequenz f4.
  • Die Amplituden bzw. die mittleren Amplituden am jeweiligen Frequenzbereich lassen Rückschlüsse auf Eigenschaften der Fahrbahn bzw. eines Zwischenmediums zu. Beispielhaft ist als A_F3 die mittlere Amplitude der Linie 84 im Frequenzbereich F3 gezeigt.
  • Eine mögliche Auswertung besteht darin, die Höhe der mittleren Amplitude im jeweiligen Frequenzbereich F1, F2 und/oder F3 auszuwerten. Diese ist im Ausführungsbeispiel bei nasser Fahrbahn größer als bei trockener Fahrbahn.
  • Als diskrete Fourier-Transformation kann beispielsweise die Amplitude X(I,k) für den Block I und den Frequenzindex k folgendermaßen berechnet werden X ( l ,k ) = x ( l ,n ) ⋅ e − i 2 pi n' k/L
    Figure DE102021107587B4_0002
    mit x(I,n) als n-tem Wert des Blocks I, dem Frequenzindex k als natürliche Zahl zwischen 0 und L/2, der Anzahl L der Werte im jeweiligen Block I bzw. in jedem ersten Signalbereich und der Variablen n' = n - I · L.
  • Die einer Energie entsprechende normalisierte mittlere Amplitude in einem Frequenzband b zwischen dem unteren Frequenzindex k = k1 und dem oberen Frequenzindex k = k2 kann folgendermaßen berechnet werden: | X | ( l ,b ) = ( SUM [ k = k1 … k2 ] | X ( l ,k ) | ) / ( k2 − k 1 )
    Figure DE102021107587B4_0003
    Hierbei ist |X| der Betrag einer ggf. komplexen Variablen X, welcher sich aus der Wurzel der Summe des Quadrats des Realteils und des Quadrats des Imaginärteils ergibt. Der Nenner (k2 - k1) ergibt eine Normierung auf die Breite des untersuchten Frequenzbereichs. Anders ausgedrückt wird zur Ermittlung des dritten Merkmals die Summe der Amplituden des ersten Spektrums in dem mindestens einen vorgegebenen Teil-Frequenzbereich auf die Frequenzbandbreite des vorgegebenen Teil-Frequenzbereichs normiert. Das Ergebnis für den Frequenzbereich F3 bei der Kurve 84 entspricht dem eingezeichneten Wert A_F3.
  • Bevorzugt wird die normalisierte mittlere Amplitude normiert auf die mittlere Amplitude des gesamten Spektrums, und zusätzlich oder alternativ kann eine dB-Skalierung verwendet werden. Dies kann beispielsweise wie folgt geschehen: A ( l ,b ) = 20  log 10 ( ( | X | ( l ,b ) / ( SUM [ i = 0 … b ] | X | ( l ,i ) ) )
    Figure DE102021107587B4_0004
    Zur Ermittlung des dritten Merkmals kann somit das Verhältnis der Summe der Amplituden des ersten Spektrums in dem mindestens einen vorgegebenen Teil-Frequenzbereich zur Summe der Amplituden des ersten Spektrums im gesamten Frequenzbereich berechnet werden.
  • Eine weitere mögliche Auswertung besteht in der Auswertung des Verlaufs der Linien 84 bzw. 86. Bei Nässe ist beispielsweise die Amplitude im höher liegenden Frequenzbereich F3 deutlich größer als im Frequenzbereich F1. Bei Trockenheit ist dagegen die Amplitude im höher liegenden Frequenzbereich F3 etwas größer, gleich oder sogar geringer als im Frequenzbereich F1.
  • Anders ausgedrückt kann zur Ermittlung des dritten Merkmals eine erste Summe der Amplituden des ersten Spektrums in mindestens einem ersten vorgegebenen Teil-Frequenzbereich F1 und eine zweite Summe der Amplituden des ersten Spektrums in mindestens einem zweiten vorgegebenen Teil-Frequenzbereich F3 berechnet wird, und das dritte Merkmal kann durch Vergleich der ersten Summe mit der zweiten Summe ermittelt werden.
  • Die Frequenzbreite der Frequenzbänder F1, F2, F3 steigt bevorzugt exponentiell an, wie das gezeigt ist. Es hat sich gezeigt, dass die sich hieraus ergebende Ermittlung des dritten Merkmals mit exponentiell ansteigenden Frequenzbreiten vorteilhaft ist bei der Bestimmung der Zielgrößen.
  • 6 zeigt beispielhaft eine tatsächlich gemessene, normierte Rate der Nulldurchgänge, aufgetragen über die Geschwindigkeit des Fahrzeugs. Die Kurve 161 wurde bei nassem Untergrund gemessen, und die Kurve 163 bei trockenem Untergrund. Die Kurve 162 entspricht dem geglätteten Verlauf der Kurve 161, und die Kurve 164 dem geglätteten Verlauf der Kurve 163. Die Geschwindigkeitsskala beginnt bei 15 km/h und endet bei ca. 270 km/h. Es ist zu erkennen, dass die Rate der Nulldurchgänge bei fast allen gemessenen Geschwindigkeiten bei einem nassen Untergrund höher ist als bei einem trockenen Untergrund, und auch die Steigungen der jeweiligen Kurven 161, 163 unterscheiden sich.
  • 7 zeigt beispielhaft eine bei der gleichen Testfahrt wie in 6 tatsächlich gemessene, normierte Summe der Amplituden des ersten Spektrums FFT-WA in einem vorgegebenen Teil-Frequenzbereich, aufgetragen über die Geschwindigkeit des Fahrzeugs. Die Kurve 165 wurde bei nassem Untergrund gemessen, und die Kurve 167 bei trockenem Untergrund. Die Kurve 166 entspricht dem geglätteten Verlauf der Kurve 165, und die Kurve 168 dem geglätteten Verlauf der Kurve 167. Die Geschwindigkeitsskala beginnt bei 15 km/h und endet bei ca. 270 km/h. Es ist zu erkennen, dass die Summe der Amplituden bei fast allen gemessenen Geschwindigkeiten bei einem nassen Untergrund höher ist als bei einem trockenen Untergrund, und auch die Steigungen der jeweiligen Kurven 165, 167 unterscheiden sich. Die Kurven 165, 167 unterscheiden sich in ihrer Form stärker voneinander als die Kurven 161, 163.
  • 8 zeigt schematisch einen vollständigen Klassifikator, wie er beispielsweise für die Erkennung der Zielgrößen
    • - Rollsplitt,
    • - Schotter, und
    • - Schnee
    verwendbar ist.
  • In S100 wird wie in 2 angegeben mit dem Fahrzeugsensor 14 der Schall erfasst, und in S102 wird der Schall in die Blöcke W1-WN, WA etc. aufgeteilt. In S120 erfolgt eine Einschlagdetektion. Im Falle eines Einschlags sind die Audiodaten für bestimmte Merkmale nicht geeignet, und in Abhängigkeit vom Ergebnis der Einschlagdetektion S120 kann beispielsweise in S122 der letzte Block vor dem Einschlag wiederholt werden oder der Block mit dem Einschlag verworfen werden. In S124 wird das Merkmal (englisch: feature) berechnet. In S126 kann ein Filter angewendet werden, beispielsweise ein Hochpass, ein Tiefpass oder ein Mittelwertbilder. In S128 wird mit Hilfe eines Klassifikators eine Prädiktion gemacht. Hierzu werden dem Klassifikator in S128 bevorzugt weitere Zustandsdaten S130 des Fahrzeugs bereitgestellt, beispielsweise die Fahrzeuggeschwindigkeit und/oder die Beschleunigung. Der Klassifikator S128 kann beispielsweise als Ergebnis bzw. Prädiktion in S132 ausgeben, dass eine der Zielgrößen Rollsplitt, Schotter oder Schnee auf der Straße ist, oder er kann in S134 ausgeben, dass keine Prädiktion oder keine eindeutige Prädiktion möglich ist.
  • Als Klassifikationsverfahren sind bspw. möglich:
    • Quader-Klassifikator,
    • Abstandsklassifikator,
    • Nächste-Nachbarn-Klassifikation,
    • Clusterverfahren,
    • künstliches neuronales Netz, und
    • latente Klassenanalyse.
  • Künstliche neuronale Netze bzw. Netzwerke sind Netze aus künstlichen Neuronen. Sie stellen damit einen Bereich der künstlichen Intelligenz dar.
  • Das Klassifikationsverfahren wird bevorzugt durch maschinelles Lernen beeinflusst. Hierzu werden Schallmessungen unter bekannten vorgegebenen Bedingungen durchgeführt, und es erfolgt eine Auswertung der Messdaten unter Ausbildung des Klassifikationsverfahrens.
  • Eine weitere Möglichkeit zur Erhöhung der Robustheit des Verfahrens besteht darin, Fahrzeugdaten über eine Geschwindigkeit (z.B. Fahrzeuggeschwindigkeit, Reifendrehzahl, Motordrehzahl) und eine Beschleunigung (z.B. Fahrzeugbeschleunigung, Reifenbeschleunigung, Motormoment) des Fahrzeugs 10 auszuwerten, und in Abhängigkeit von der Auswertung zu bestimmen, ob die zeitlich zugeordneten zeitlich begrenzten ersten Signalbereiche für das Klassifikationsverfahren geeignet sind. Hierbei kann beispielsweise bei einer Überschreitung oder Unterschreitung vorgegebener Grenzwerte der entsprechende Signalbereich als ungültiges Sample nicht berücksichtigt werden, oder er kann weniger berücksichtigt werden, als Signalbereiche, bei denen die Geschwindigkeit oder Beschleunigung in einem vorgegebenen Bereich liegen. Ein solches Filter kann als Situationsfilter bezeichnet werden.
  • Es ist auch möglich, ungewöhnliche erste Signalbereiche dadurch auszufiltern, dass eine Ausreißererkennung durchgeführt wird. Wenn also ein erster Signalbereich oder das zugeordnete Spektrum beispielsweise eine ungewöhnliche Form oder ungewöhnlich hohe Amplituden aufweisen, können sie weniger oder überhaupt nicht berücksichtigt werden.
  • Naturgemäß sind im Rahmen der vorliegenden Anmeldung vielfältige Abwandlungen und Modifikationen möglich.

Claims (14)

  1. Verfahren zur Ermittlung einer Zielgröße mittels eines Fahrzeugsensors (14) und einer Auswertevorrichtung (23), welche Zielgröße mindestens eine erste Zielgröße aus der Zielgrößengruppe umfasst bestehend aus: - Rollsplitt, - Schotter, und - Schnee, welches Verfahren die folgenden Schritte aufweist: A) Mit dem Fahrzeugsensor (14) wird ein Schall erfasst und in Abhängigkeit vom erfassten Schall ein erstes Signal (x(t)) erzeugt; B) aus dem ersten Signal (x(t)) wird eine vorgegebene erste Anzahl von zeitlich begrenzten ersten Signalbereichen (W1 - WN, WA) des ersten Signals (x(t)) erzeugt; C) aus den ersten Signalbereichen (W1 - WN, WA) werden durch eine erste diskrete Fourier-Transformation erste Spektren (FFT-W1 - FFT-WN, FFT-WA) berechnet; D1) ein erstes Merkmal wird ermittelt, welches die maximale Amplitude eines vorgegebenen ersten Signalbereichs (WA) relativ zur maximalen Amplitude mindestens eines zeitlich vorhergehenden ersten Signalbereichs (W1 - WN) charakterisiert; D2) ein zweites Merkmal wird ermittelt, welches die Rate der Nulldurchgänge in mindestens einem der ersten Signalbereiche (W1 -WN, WA) charakterisiert; D3) ein drittes Merkmal wird in Abhängigkeit von der Summe der Amplituden eines ersten Spektrums (FFT-W1 - FFT-WN, FFT-WA) in mindestens einem vorgegebenen Teil-Frequenzbereich (F1, F2, F3) ermittelt; E) durch ein Klassifikationsverfahren (S128) wird die Zielgröße ermittelt in Abhängigkeit von mindestens einem Merkmal aus der ersten Merkmalsgruppe bestehend aus: - erstes Merkmal - zweites Merkmal - drittes Merkmal.
  2. Verfahren nach Anspruch 1, bei welchem bei der Ermittlung des ersten Merkmals das Verhältnis der maximalen Amplitude des vorgegebenen ersten Signalbereichs (WA) zur maximalen Amplitude genau eines vorhergehenden ersten Signalbereichs (W1 - WN) berücksichtigt wird.
  3. Verfahren nach Anspruch 1 oder 2, bei welchem bei der Berechnung des ersten Merkmals eine vorgegebene erste Mehrzahl von zeitlich vorhergehenden ersten Signalbereichen (W1 -WN) berücksichtigt wird, und bei welchem zu jedem zeitlich vorhergehenden ersten Signalbereich (W1 - WN) eine erste Abweichung der maximalen Amplitude des vorgegebenen ersten Signalbereichs (WA) zur maximalen Amplitude des zeitlich vorhergehenden ersten Signalbereichs (W1 - WN) berechnet wird.
  4. Verfahren nach Anspruch 3, bei welchem das erste Merkmal abhängig ist von einem Summenwert, welcher Summenwert der Summe der berechneten ersten Abweichungen entspricht.
  5. Verfahren nach Anspruch 3 oder 4, bei welchem die erste Abweichung eine lineare Abweichung oder eine logarithmische Abweichung ist.
  6. Verfahren nach einem der Ansprüche 3 bis 5, bei welchem die erste Abweichung als Differenz oder als Betrag der Differenz berechnet wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem zur Ermittlung des zweiten Merkmals die Anzahl der Nulldurchgänge in einem vorgegebenen ersten Bereich (WA) gezählt wird, welcher erste Bereich (WA) ausgewählt ist aus der Bereichgruppe bestehend aus: - mindestens ein Teilbereich mindestens eines erstens Signalbereichs; - ganzer erster Signalbereich (WA); und - mehr als ein ganzer erster Signalbereich (W1 - WN, WA).
  8. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem zur Ermittlung des dritten Merkmals das Verhältnis der Summe der Amplituden des ersten Spektrums (FFT-WA) in dem mindestens einen vorgegebenen Teil-Frequenzbereich (F1, F2, F3) zur Summe der Amplituden des ersten Spektrums (FFT-WA) im gesamten Frequenzbereich berechnet wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem zur Ermittlung des dritten Merkmals eine erste Summe der Amplituden des ersten Spektrums (FFT-WA) in mindestens einem ersten vorgegebenen Teil-Frequenzbereich und eine zweite Summe der Amplituden des ersten Spektrums (FFT-WA) in mindestens einem zweiten vorgegebenen Teil-Frequenzbereich berechnet wird, und bei welchem das dritte Merkmal durch Vergleich der ersten Summe mit der zweiten Summe ermittelt wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem zur Ermittlung des dritten Merkmals die Summe der Amplituden des ersten Spektrums (FFT-WA) in dem mindestens einen vorgegebenen Teil-Frequenzbereich auf die Frequenzbandbreite des vorgegebenen Teil-Frequenzbereichs normiert wird.
  11. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem im Schritt A) das erste Signal (x(t)) unter Anwendung eines Hochpassfilters erzeugt wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche, bei welchem die Zielgröße durch das Klassifikationsverfahren (S128) ermittelt wird in Abhängigkeit von mindestens zwei Merkmalen aus der ersten Merkmalsgruppe, weiter bevorzugt in Abhängigkeit von mindestens drei Merkmalen der ersten Merkmalsgruppe.
  13. Sensoranordnung (20), welche einen Fahrzeugsensor (14) und eine Auswertevorrichtung (23) aufweist, und welche dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
  14. Fahrzeug (10), welches eine Sensoranordnung (20) nach Anspruch 13 aufweist.
DE102021107587.4A 2021-03-25 2021-03-25 Verfahren zur Ermittlung einer Zielgröße Active DE102021107587B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021107587.4A DE102021107587B4 (de) 2021-03-25 2021-03-25 Verfahren zur Ermittlung einer Zielgröße

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021107587.4A DE102021107587B4 (de) 2021-03-25 2021-03-25 Verfahren zur Ermittlung einer Zielgröße

Publications (2)

Publication Number Publication Date
DE102021107587A1 DE102021107587A1 (de) 2022-09-29
DE102021107587B4 true DE102021107587B4 (de) 2023-02-02

Family

ID=83192729

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021107587.4A Active DE102021107587B4 (de) 2021-03-25 2021-03-25 Verfahren zur Ermittlung einer Zielgröße

Country Status (1)

Country Link
DE (1) DE102021107587B4 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10259979A1 (de) 2002-12-19 2004-07-15 Daimlerchrysler Ag Verfahren zur Ermittlung eines Straßenzustands während des Fahrbetriebs eines Kraffahrzeugs
DE102015106403A1 (de) 2015-04-27 2016-10-27 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines Zustands einer Fahrbahn anhand eines Echosignals eines Ultraschallsensors, Sensoranordnung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3084418B1 (de) 2013-12-18 2018-10-10 Compagnie Générale des Etablissements Michelin Akustische detektionsmethode für den reifen- und strassenzustand
DE102017214409A1 (de) 2017-04-25 2018-10-25 Mando-Hella Electronics Corporation System und verfahren zum erfassen eines strassenoberflächenzustands

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10259979A1 (de) 2002-12-19 2004-07-15 Daimlerchrysler Ag Verfahren zur Ermittlung eines Straßenzustands während des Fahrbetriebs eines Kraffahrzeugs
EP3084418B1 (de) 2013-12-18 2018-10-10 Compagnie Générale des Etablissements Michelin Akustische detektionsmethode für den reifen- und strassenzustand
DE102015106403A1 (de) 2015-04-27 2016-10-27 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines Zustands einer Fahrbahn anhand eines Echosignals eines Ultraschallsensors, Sensoranordnung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017214409A1 (de) 2017-04-25 2018-10-25 Mando-Hella Electronics Corporation System und verfahren zum erfassen eines strassenoberflächenzustands

Also Published As

Publication number Publication date
DE102021107587A1 (de) 2022-09-29

Similar Documents

Publication Publication Date Title
DE69521073T2 (de) Vorrichtung zum Feststellen von Aquaplaning
DE69903990T2 (de) Verfahren zur Abschätzung der verschleissbedingten Lebensdauer eines Reifens
EP0277613B1 (de) Verfahren zur Übertragung eines Audiosignals
EP2064522B1 (de) Verfahren und vorrichtung zur überwachung des rauschens eines sensors
EP2877352A1 (de) Verfahren und vorrichtung zum schätzen einer profiltiefe eines reifens
DE102008002484A1 (de) Verfahren zum Prüfen eines Schwingungsdämpfers eines Kraftfahrzeugs im eingebauten Zustand sowie Schwingungsdämpfer-Prüfsystem für ein Kraftfahrzeug
DE3940404A1 (de) Verfahren und geraet zur dopplereffekt-geschwindigkeitsmessung
DE102018101057A1 (de) Detektieren einer fehlerhaften Sammlung von Vibrationsdaten
DE102014104080A1 (de) Verfahren zum ermitteln eines winkels eines magnetpols eines sich drehenden objekts
DE102019204609A1 (de) Verfahren zum Ermitteln eines Fahrbahnzustands während eines Fahrbetriebs eines Fahrzeugs
DE4117091C2 (de)
DE69626197T2 (de) Verfahren zur beurteilung des profilmusters eines reifens
DE102019101129A1 (de) Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug befahrenen Oberflächenbelags
DE69818380T2 (de) Verfahren zur Überwachung eines mit Beschleunigungssensoren versehenen Planetengetriebes in einem Fortbewegungsmittel, insbesondere in einem Helikopter
EP1431728A1 (de) Verfahren zur Ermittlung eines Strassenzustands während des Fahrbetriebs eines Kraftfahrzeugs
DE102017200685A1 (de) Bestimmen einer Verfügbarkeit eines Stellplatzes für ein Kraftfahrzeug
DE10157885A1 (de) Verfahren und Vorrichtung zur Bestimmung des Reifenluftdrucks
DE102017222568A1 (de) Verfahren zum Bestimmen eines Reibwerts für einen Kontakt zwischen einem Reifen eines Fahrzeugs und einer Fahrbahn und Verfahren zum Steuern einer Fahrzeugfunktion eines Fahrzeugs
DE102021107587B4 (de) Verfahren zur Ermittlung einer Zielgröße
DE102018100117B4 (de) Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn, Fahrerassistenzsystem, Verfahren und Computerprogrammprodukt
DE102020116507A1 (de) Verfahren zur Ermittlung einer Zielgröße
WO2015181260A1 (de) VERFAHREN ZUR BESTIMMUNG DES WERTS EINER VIBROAKUSTISCHEN GRÖßE
DE102022201475A1 (de) Verfahren und Vorrichtung zur Überwachung eines Profilabriebs eines Fahrzeugreifens
DE102017109647A1 (de) Verfahren zum Erkennen von Schäden eines Radlagers
DE102017109650A1 (de) Verfahren zum Schätzen des Reifendrucks bzw. zum Erkennen von Schäden

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final