DE102012024547B4 - Method for determining a quality of a windscreen wiper system - Google Patents

Method for determining a quality of a windscreen wiper system Download PDF

Info

Publication number
DE102012024547B4
DE102012024547B4 DE102012024547.5A DE102012024547A DE102012024547B4 DE 102012024547 B4 DE102012024547 B4 DE 102012024547B4 DE 102012024547 A DE102012024547 A DE 102012024547A DE 102012024547 B4 DE102012024547 B4 DE 102012024547B4
Authority
DE
Germany
Prior art keywords
time
image
disc
wiping
wiper system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102012024547.5A
Other languages
German (de)
Other versions
DE102012024547A1 (en
Inventor
David Schnitzler
Helge Colmorgen
Wilhelm Fangmeier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cbb Software De GmbH
Original Assignee
CBB SOFTWARE GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CBB SOFTWARE GmbH filed Critical CBB SOFTWARE GmbH
Priority to DE102012024547.5A priority Critical patent/DE102012024547B4/en
Publication of DE102012024547A1 publication Critical patent/DE102012024547A1/en
Application granted granted Critical
Publication of DE102012024547B4 publication Critical patent/DE102012024547B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0892Testing and production of rain sensors

Abstract

Verfahren zum Bestimmung einer Güte eines Scheibenwischsystems mit den Schritten:a) in mehreren, zeitlich aufeinanderfolgenden Zeitpunkten jeweils ein Bild einer Scheibe (32) des Scheibenwischsystems mittels einer Kameraeinheit zu erfassen (A2), währendi. die Scheibe (32) mit einer Flüssigkeit benetzt wird (AI),ii. die Scheibe (32) mittels eines Scheibenwischblatts (33) des Scheibenwischsystems gewischt wird (All) undiii. Flüssigkeitsrückstände (34) nach dem Wischen der Scheibe (32) evaporieren (AIII),b) die erfassten Bilder der Scheibe (32) jeweils in mehrere Bildsegmente zu unterteilen (B4),c) für ein vorgegebenes Bildsegment (31) und die erfassten Zeitpunkte jeweils einen Mittelwert zu bilden (C2) aus Grauwerten von innerhalb des Bildsegments (31) liegenden Bildpixeln des Bildes,d) für das vorgegebene Bildsegment (31) eine Zeitreihe zu bilden (D) aus den gebildeten Mittelwerten für die erfassten Zeitpunkte,e) eine Ableitung (60a bis c) der Zeitreihe zu bilden (E2),f) einen Endzeitpunkt (70) einer Abklingdauer (69) zu ermitteln (F2), ab dem der Betrag der Ableitung der Zeitreihe kleiner als der Betrag eines vorgegebenen ersten Schwellwerts (71) ist, undg) die Güte des Scheibenwischsystems als ausreichend zu beurteilen, wenn die Abklingdauer kleiner als ein vorgegebener Zeitschwellwert ist.Method for determining a quality of a windshield wiper system comprising the steps of: a) detecting an image of a windshield wiper system (32) by means of a camera unit at a plurality of temporally successive time points (a) whilei. the disc (32) is wetted with a liquid (AI), ii. wiping the disk (32) by means of a windscreen wiper blade (33) of the windscreen wiper system (All) andiii. After the wiping of the disc (32), liquid residues (34) evaporate (AIII), b) subdivide the captured images of the disc (32) into several image segments (B4), c) for a given image segment (31) and the detected times d) for the given image segment (31) to form a time series (D) from the averaged values for the detected times, e) a F) determine an end time (70) of a decay time (69) (F2), from which the amount of derivative of the time series is less than the magnitude of a predetermined first threshold value (71 ), and g) judging the quality of the windshield wiper system as sufficient if the decay time is less than a predetermined time threshold.

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Güte eines Scheibenwischsystems. Das Scheibenwischsystem besteht dabei beispielsweise aus einer zu wischenden Scheibe, insbesondere der Front- oder Heckscheibe eines Kraftfahrzeugs, Flugzeugs, Schiffs oder Schienenfahrzeugs, und einem Scheibenwischblatt, welches beispielsweise eine der Scheibe zugewandte Gummioberfläche aufweist. Das Scheibenwischblatt ist dabei an einem Wischerarm angebracht, der in der Regel über eine Achse mit einem Antrieb gekoppelt ist. Scheibenwischsysteme dieser Art dienen in der Regel dazu, eine Scheibe von Flüssigkeit und Schmutz zu befreien, um eine ausreichende Sicht, beispielsweise für einen Fahrzeugführer, durch die Scheibe zu ermöglichen.The invention relates to a method for determining a quality of a windshield wiper system. The windshield wiper system consists, for example, of a windshield to be wiped, in particular the front or rear window of a motor vehicle, aircraft, ship or rail vehicle, and a windshield wiper blade which has, for example, a rubber surface facing the windshield. The windscreen wiper blade is attached to a wiper arm, which is usually coupled via an axle with a drive. Windscreen wiper systems of this type are generally used to rid a disk of liquid and dirt to allow a sufficient view, for example, for a driver, through the disc.

Der Begriff „Güte“ eines Scheibenwischsystems ist im Rahmen der vorliegenden Erfindung als Maß für die Wischleistung, korrekte Funktion und/oder Abnutzung des Scheibenwischblatts zu verstehen.The term "quality" of a windshield wiper system is to be understood in the context of the present invention as a measure of the wiping performance, correct function and / or wear of the windshield wiper blade.

Verfahren zum Bestimmen der Güte eines Scheibenwischsystems sind grundsätzlich bekannt. In der DE 29 32 461 A1 wird ein Verfahren zur Beurteilung der Qualität eines Systems aus Wischblatt und Scheibenoberfläche beschrieben. Methods for determining the quality of a windshield wiper system are known in principle. In the DE 29 32 461 A1 A method for assessing the quality of a system of wiper blade and disc surface is described.

Dabei wird Licht optisch erfasst, welches an Flüssigkeitsresten gestreut, reflektiert oder gebrochen wird, die nach dem Wischvorgang auf der Scheibe verbleiben. Die Beurteilung der Wischblattqualität erfolgt durch Vergleich der während des Wischvorgangs gemessenen orts- und zeitabhängigen Werte der Streulichtintensität mit vorgegebenen Werten oder durch Vergleich von aus den Werten der Streulichtintensität abgeleiteten Kenngrößen mit vorgegebenen Kenngrößen. Dabei werden die im Wischfeld zurückbleibenden Reste der Waschflüssigkeit detektiert durch Vergleich der während des Wischvorgangs in Reflektion gemessenen Leuchtdichteverteilung mit derjenigen der trockenen Scheibe. Zudem wird der Ort und/oder das durch Verdunstungseffekte bedingte zeitliche Verschwinden der Waschflüssigkeitsreste zur Beurteilung der Wischqualität ausgewertet.In this case, light is detected optically, which is scattered on liquid residues, reflected or broken, which remain after the wiping process on the disc. The wiper blade quality is assessed by comparing the spatially and time-dependent values of the scattered light intensity measured during the wiping process with given values or by comparing characteristic values derived from the values of the scattered light intensity with predetermined characteristic values. The residues of the washing liquid remaining in the wiping field are detected by comparing the luminance distribution measured during the wiping process with that of the dry wafer. In addition, the location and / or caused by evaporation effects temporal disappearance of the washing liquid residues to assess the wiping quality is evaluated.

Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren zum Bestimmen der Güte eines Scheibenwischsystems bereitzustellen.Against this background, it is an object of the present invention to provide an improved method for determining the quality of a windshield wiper system.

Diese Aufgabe wird gemäß der vorliegenden Erfindung gelöst durch ein Verfahren mit den Schritten:

  1. a) in mehreren, zeitlich aufeinanderfolgenden Zeitpunkten jeweils ein Bild einer Scheibe des Scheibenwischsystems mittels einer Kameraeinheit zu erfassen, während
    1. i. die Scheibe mit einer Flüssigkeit benetzt wird,
    2. ii. die Scheibe mittels eines Scheibenwischblatts des Scheibenwischsystems gewischt wird und
    3. iii. Flüssigkeitsrückstände nach dem Wischen der Scheibe evaporieren,
  2. b) die erfassten Bilder der Scheibe jeweils in mehrere Bildsegmente zu unterteilen,
  3. c) für ein vorgegebenes Bildsegment und die erfassten Zeitpunkte jeweils einen Mittelwert zu bilden aus Grauwerten von innerhalb des Bildsegments liegenden Bildpixeln des Bildes,
  4. d) für das vorgegebene Bildsegment eine Zeitreihe zu bilden aus den gebildeten Mittelwerten für die erfassten Zeitpunkte,
  5. e) eine Ableitung der Zeitreihe zu bilden,
  6. f) einen Endzeitpunkt einer Abklingdauer zu ermitteln, ab dem der Betrag der Ableitung der Zeitreihe kleiner als der Betrag eines vorgegebenen ersten Schwellwerts ist, und
  7. g) die Güte des Scheibenwischsystems als ausreichend zu beurteilen, wenn die Abklingdauer kleiner als ein vorgegebener Zeitschwellwert ist.
This object is achieved according to the present invention by a method comprising the steps:
  1. a) to capture an image of a slice of the windshield wiper system by means of a camera unit at a plurality of temporally successive times during
    1. i. the disk is wetted with a liquid,
    2. ii. the disk is wiped by means of a windscreen wiper blade of the windscreen wiper system and
    3. iii. Evaporating liquid residues after wiping the pane,
  2. b) subdividing the captured images of the slice into several image segments,
  3. c) for a given image segment and the acquired times each to form an average of gray values of image pixels of the image lying within the image segment,
  4. d) for the given image segment, to form a time series from the averaged values for the detected times,
  5. e) to form a derivative of the time series,
  6. f) to determine an end time of a cooldown, from which the amount of derivative of the time series is smaller than the amount of a predetermined first threshold, and
  7. g) judging the quality of the windscreen wiper system as sufficient if the decay time is less than a predetermined time threshold.

Mit der Erfindung wurde erkannt, dass das Scheibenwischblatt des Scheibenwischsystems beim Wischen einen Flüssigkeitsfilm, im Folgenden auch Schleier genannt, zumindest kurzzeitig hinterlässt. Die Zeitdauer, bis der Schleier evaporiert bzw. verdunstet ist, wird im Folgenden auch als Abklingdauer bezeichnet. Diese Abklingdauer hängt von der Güte des Scheibenwischsystems ab. Bei einem Scheibenwischsystem mit mangelhafter Güte ist die Abklingdauer vergleichsweise lang, so dass eine ausreichende Sicht durch die Scheibe für einen Fahrzeugführer für einen vergleichsweise langen Zeitraum nicht gewährleistet ist.With the invention it was recognized that the wiper blade of the windscreen wiper system during wiping a liquid film, hereinafter also called veil leaves, at least for a short time. The period of time until the veil has evaporated or evaporated is also referred to below as the decay time. This decay time depends on the quality of the windscreen wiper system. In a windshield wiper system with poor quality, the decay time is comparatively long, so that a sufficient view through the window for a driver for a comparatively long period is not guaranteed.

Durch die Bestimmung der Abklingdauer mit Hilfe des erfindungsgemäßen Verfahrens wird eine zuverlässige Größe bei der Bestimmung der Güte eines Scheibenwischsystems verwendet. Die erfindungsgemäße Bestimmung der Abklingdauer anhand der Ableitung der Zeitreihe ermöglicht zudem eine objektive, genaue und wiederholbare Bestimmung der Güte eines Scheibenwischsystems. Dadurch hebt sich das erfindungsgemäße Verfahren von den bekannten Verfahren ab. Diese bekannten Verfahren sind besonders anfällig gegen Störungen des erfassten Lichts, insbesondere durch eine Nachberieselung der Scheibe. Gerade eine Nachberieselung der Scheibe, d.h. die Benetzung der Scheibe direkt nach dem Wischen, hat einen erheblichen Einfluss auf das Ergebnis nach den bekannten Verfahren. Insbesondere bei Regenbetrieb des Fahrzeugs, wird die Scheibe nämlich nach dem Wischen sofort mit weiterem Regenwasser benetzt. Somit tritt ein erheblicher Störfaktor auf, der die Schleier kaum erfassbar bzw. für die Nachverarbeitung kaum messbar macht. Durch die erfindungsgemäße Verwendung der Ableitung der Zeitreihe werden die Einflüsse der Nachberieselung auf das Ergebnis der Bestimmung der Güte des Scheibenwischsystems erheblich verringert.By determining the decay time using the method according to the invention, a reliable variable is used in the determination of the quality of a windshield wiper system. The inventive determination of the decay time based on the derivation of the time series also allows an objective, accurate and repeatable determination of the quality of a windshield wiper system. As a result, the method according to the invention is distinguished from the known methods. These known methods are particularly susceptible to disturbances of the detected light, in particular by a Nachberieselung the disc. Just a Nachberieselung the disc, ie the wetting of the disc directly after wiping, has a considerable Influence on the result according to the known methods. In particular, during rainy weather of the vehicle, the disc is wets after wiping immediately with more rainwater. Thus, a significant disturbing factor occurs, which makes the fog barely detectable or hardly measurable for post-processing. The inventive use of the derivative of the time series, the effects of Nachberieselung be significantly reduced to the result of the determination of the quality of the windscreen wiper system.

Ein weiterer Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass es automatisiert und wiederholbar durchgeführt werden kann und damit für die Durchführung auf einem Prüfstand, in einer Werkstatt und/oder im Betrieb des Fahrzeugs geeignet ist.A further advantage of the method according to the invention is that it can be carried out in an automated and repeatable manner and thus suitable for carrying out on a test stand, in a workshop and / or during operation of the vehicle.

Die erfassten Bilder der Scheibe sind vorzugsweise elektronisch mittels einer Kameraeinheit erfasste Grauwertbilder. Dabei nimmt jedes Bildpixel, d.h. jeder Bildpunkt, des erfassten Bildes mehrere Grauwerte ein. Das Erfassen der Bilder erfolgt in zeitlich aufeinander folgenden Zeitpunkten, die vorzugsweise jeweils einen konstanten zeitlichen Abstand zueinander aufweisen. Die Kameraeinheit, die für das Erfassen der Bilder verwendet wird, umfasst vorzugsweise einen CCD-Sensor (CCD: Charge Coupled Device), insbesondere einen zweidimensionalen CCD-Array-Sensor, d.h. ein zweidimensionales Feld bestehend aus mehreren Zeilen und Spalten von Sensoren.The captured images of the disc are preferably gray scale images acquired electronically by means of a camera unit. Each image pixel, i. each pixel, the captured image several gray values. The capture of the images takes place in temporally successive points in time, which preferably each have a constant time interval from one another. The camera unit used for acquiring the images preferably comprises a CCD (Charge Coupled Device) sensor, in particular a two-dimensional CCD array sensor, i. a two-dimensional field consisting of several rows and columns of sensors.

Das Benetzen der Scheibe mit Flüssigkeit erfolgt beispielsweise mittels eines Wasserzerstäubers, der für das Testen der Scheibenwischer in einer Werkstatt oder einem Labor bzw. Prüfstand verwendet wird. Im Betrieb des Fahrzeugs wird die Scheibe durch Regen oder Schnee benetzt.The wetting of the disk with liquid, for example, by means of a water atomizer, which is used for testing the windscreen wipers in a workshop or a laboratory or test bench. During operation of the vehicle, the disc is wetted by rain or snow.

Das Bildsegment ist vorzugsweise als Teilbereich des erfassten Bildes zu verstehen, welcher einen Flächenabschnitt der Oberfläche der Scheibe repräsentiert. Die mehreren Bildsegmente weisen jeweils die gleiche Größe auf, wobei jedes Bildsegment mehrere Bildpixel umfasst. Bei der Aufteilung des Bildes in mehrere Bildsegmente können unterschiedliche Segmentierungsverfahren verwendet werden. Das vorgegebene Bildsegment kann beispielsweise bei jedem Verfahrensdurchlauf an derselben Stelle ausgewählt werden. Weiter vorzugsweise können mehrere Bildsegmente als vorgegebenes Bildsegment mittels eines Algorithmus bestimmt werden.The image segment is preferably to be understood as a subregion of the acquired image, which represents a surface section of the surface of the disk. The multiple image segments each have the same size, each image segment comprising multiple image pixels. When dividing the image into several image segments, different segmentation methods can be used. The predefined image segment can be selected, for example, at the same location during each process run. Further preferably, a plurality of image segments can be determined as a predetermined image segment by means of an algorithm.

Für ein vorgegebenes Bildsegment werden mehrere Mittelwerte gebildet, nämlich für jeden Zeitpunkt, in dem das Bildsegment erfasst wird, wird ein Mittelwert aus einer Vielzahl von Grauwerten der innerhalb des Bildsegments liegenden Bildpixel gebildet. Vorzugsweise wird der Mittelwert als arithmetisches Mittel der Grauwerte der innerhalb des Bildsegments liegenden Bildpixel gebildet. Die Grauwerte repräsentieren die Intensität des erfassten Lichts. Das bedeutet z.B. bei einer sogenannten linearen Quantisierung, dass ein linearer Zusammenhang zwischen der Intensität des erfassten Lichts und dem Grauwert eines Pixels besteht.For a given image segment, a plurality of mean values are formed, namely, for each point in time in which the image segment is detected, an average of a plurality of gray values of the image pixels lying within the image segment is formed. The mean value is preferably formed as the arithmetic mean of the gray values of the image pixels lying within the image segment. The gray values represent the intensity of the detected light. This means e.g. in a so-called linear quantization, there is a linear relationship between the intensity of the detected light and the gray value of a pixel.

Aus den gebildeten Mittelwerten wird für jedes Bildsegment eine Zeitreihe gebildet. Das folgenden Beispiel soll verdeutlichen, wie der Begriff Zeitreihe für das Bildsegment im Rahmen der vorliegenden Erfindung verstanden werden kann: Ein Bild der Scheibe wird in vier Zeitpunkten t=1, t=2, t=3 und t=4 erfasst. Ein Bildsegment BS des Bildes hat in dem Zeitpunkt t=1 einen Mittelwert M1=134, in dem Zeitpunkt t=2 einen Mittelwert M2=56, in dem Zeitpunkt t=3 einen Mittelwert M3=244 und in dem Zeitpunkt t=4 einen Mittelwert M4=246. Daraus ergibt sich für das Bildsegment BS eine Zeitreihe ZBS = (134, 56, 244, 246).From the average values formed, a time series is formed for each image segment. The following example clarifies how the term time series for the image segment can be understood in the context of the present invention: An image of the slice is acquired at four times t = 1, t = 2, t = 3 and t = 4. An image segment BS of the image has an average value M 1 = 134 at time t = 1, an average value M 2 = 56 at time t = 2, an average value M 3 = 244 at time t = 3 and at time t = 4 an average value M 4 = 246. This results in a time series Z BS = (134, 56, 244, 246) for the image segment BS.

Die Ableitung der Zeitreihe wird vorzugsweise als diskrete Ableitung gebildet. So kann die Ableitung beispielsweise aus der Differenz der Mittelwerte zweier zeitlich aufeinanderfolgenden Bildsegmente, die durch den zeitlichen Abstand der beiden Bildsegmente geteilt wird, berechnet werden. Mit anderen Worten: Die Ableitung zu einem vorgegebenen Zeitpunkt wird gebildet durch die Änderung der Zeitreihe pro Zeiteinheit in jenem vorgegebenen Zeitpunkt.The derivation of the time series is preferably formed as a discrete derivative. For example, the derivative can be calculated from the difference between the mean values of two temporally successive image segments which are divided by the time interval between the two image segments. In other words, the derivative at a given time is formed by the change of the time series per unit time at that given time.

Das Evaporieren der Flüssigkeitsrückstände erfolgt im Wesentlichen exponentiell. Somit tendiert die Ableitung der Zeitreihe gegen Null. Der Begriff „Betrag“ ist im Rahmen der vorliegenden Erfindung so zu verstehen, dass eine reelle Zahl aus einem Vorzeichen und einem Absolutwert (Abstand von Null) besteht, wobei der Betrag der reellen Zahl (z.B. -4) vom Absolutwert der Zahl (z.B. 4) gebildet wird.The evaporation of the liquid residues takes place essentially exponentially. Thus, the derivation of the time series tends to zero. The term "amount" is to be understood in the context of the present invention such that a real number consists of a sign and an absolute value (distance of zero), wherein the amount of the real number (eg -4) of the absolute value of the number (eg 4 ) is formed.

Bei einer positiven Zeitreihe (>0), deren Werte beim Abklingen gegen Null tendieren, ist die Ableitung negativ, deren Betrag ebenfalls gegen Null tendiert. Der Betrag des ersten Schwellwertes ist ein Absolutwert, vorzugsweise nahe bei Null. Der Endzeitpunkt der Abklingdauer wird bevorzugt bestimmt anhand desjenigen Zeitpunktes, ab dem der Betrag der Ableitung kleiner als der Betrag des ersten Schwellwerts ist.With a positive time series (> 0), whose values tend towards zero on decay, the derivative is negative, the amount also tends towards zero. The magnitude of the first threshold is an absolute value, preferably close to zero. The end time of the decay time is preferably determined from the point in time at which the amount of the derivative is less than the magnitude of the first threshold value.

Alternativ kann der Endzeitpunkt der Abklingdauer bei einer positiven Zeitreihe, deren Werte beim Abklingen gegen Null tendieren und deren Ableitung negativ ist und ebenfalls gegen Null tendiert, auch so bestimmt werden, dass der erste Schwellwert ein negativer Wert ist und vorzugsweise nahe bei Null liegt und der Endzeitpunkt der Abklingdauer dann bevorzugt anhand desjenigen Zeitpunktes bestimmt wird, ab dem die Ableitung größer als der erste Schwellwert ist.Alternatively, the end time of the cooldown on a positive time series whose decay values are zero and whose derivative is negative and also tends to zero may also be determined such that the first threshold is a negative value and preferably close to zero and End time of the decay time is then preferably determined on the basis of that point in time, from which the derivative is greater than the first threshold.

Anhand der ermittelten Abklingdauer wird die Güte des Scheibenwischsystems bestimmt. Das heißt zum Beispiel, dass eine vergleichsweise lange Abklingdauer für eine mangelnde Güte und eine vergleichsweise kurze Abklingdauer für eine ausreichende Güte des Scheibenwischsystems steht. Wenn die bestimmte Abklingdauer vergleichsweise lang ist, kann bevorzugt ein Signal an eine Anzeigeeinheit gesendet werden, die anzeigt, dass das Scheibenwischblatt ausgetauscht werden soll. Die Anzeigeeinheit ist vorzugsweise in einem Prüfstand oder einer Werkstatt angeordnet und zeigt einem Nutzer (z.B. Prüfer) an, dass das Scheibenwischsystem eine mangelnde Güte aufweist. Die Anzeigeeinheit kann beispielsweise aber auch in den Armaturen eines Fahrzeugs angeordnet sein und dem Fahrzeugführer anzeigen, dass das Scheibenwischblatt und/oder die Scheibe selbst auszutauschen ist.The quality of the windscreen wiper system is determined on the basis of the determined decay time. This means, for example, that a comparatively long decay time for a lack of quality and a comparatively short decay time stands for sufficient quality of the windscreen wiper system. When the determined decay time is comparatively long, a signal may preferably be sent to a display unit indicating that the windshield wiper blade is to be replaced. The display unit is preferably located in a test stand or workshop and indicates to a user (e.g., tester) that the windshield wiper system has a poor quality. However, the display unit can also be arranged, for example, in the fittings of a vehicle and indicate to the vehicle driver that the windscreen wiper blade and / or the windscreen itself is to be exchanged.

Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird ein Startzeitpunkt der Abklingdauer bestimmt als ein Zeitpunkt, ab dem der Betrag der Ableitung kleiner als der Betrag eines vorgegebenen zweiten Schwellwerts ist. Der Betrag des vorgegebenen zweiten Schwellwerts ist vorzugsweise größer als der Betrag des ersten Schwellwerts. Bevorzugt wird die Bestimmung des Startzeitpunkts anhand von zwei Ereignissen ausgelöst. Zunächst muss der Betrag der Ableitung der Zeitreihe größer als der Betrag eines vorgegebenen Initiierungsschwellwerts sein, welcher größer als der Betrag des zweiten Schwellwerts ist. Erst wenn dieses Ereignis eingetreten ist, wird der Startzeitpunkt bestimmt durch den Zeitpunkt, ab dem der Betrag der Ableitung kleiner als der Betrag des zweiten Schwellwerts ist.According to a preferred embodiment of the method according to the invention, a start time of the decay time is determined as a time from which the amount of the derivative is less than the amount of a predetermined second threshold. The magnitude of the predetermined second threshold is preferably greater than the magnitude of the first threshold. Preferably, the determination of the start time is triggered based on two events. First, the amount of derivative of the time series must be greater than the amount of a predetermined initiation threshold that is greater than the magnitude of the second threshold. Only when this event has occurred, the start time is determined by the time from which the amount of the derivative is less than the amount of the second threshold.

Nach einer alternativen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird ein Startzeitpunkt der Abklingdauer bestimmt als ein Zeitpunkt, welcher einen vorgegebenen Wartezeitabstand zu einem Wischzeitpunkt aufweist. Bei dieser Ausführungsform wird die Messung der Abklingdauer ausgelöst durch das Wischen der Scheibe. Dies ist besonders zweckmäßig, da der Schleier erst beim Wischen der Scheibe erzeugt wird. Die vorgegebene Wartezeit hängt von der Wischgeschwindigkeit des Scheibenwischblatts ab. Vorzugsweise entspricht die Wartezeit einer Zeitdauer von dem Wartezeitstartpunkt bis zu einem Wartezeitendpunkt. Der Wartezeitstartpunkt wird bestimmt als ein Zeitpunkt, ab dem das Scheibenwischblatt in einen Flächenabschnitt der Scheibe eintritt, der durch das vorgegebene Bildsegment repräsentiert wird. Der Wartezeitendpunkt wird bestimmt als ein Zeitpunkt, wenn das Scheibenwischblatt den Flächenabschnitt der Scheibe verlässt, der durch das Bildsegment repräsentiert wird.According to an alternative preferred embodiment of the method according to the invention, a start time of the decay time is determined as a time which has a predetermined waiting time interval at a wiping time. In this embodiment, the measurement of the decay time is triggered by the wiping of the disc. This is particularly useful because the veil is generated only when wiping the disc. The predetermined waiting time depends on the wiping speed of the windshield wiper blade. Preferably, the waiting time corresponds to a period of time from the waiting time start point to a waiting time end point. The waiting time start point is determined as a point in time at which the windshield wiper blade enters a surface portion of the disk represented by the predetermined image segment. The wait end point is determined as a time when the windshield wiper blade leaves the surface portion of the disk represented by the image segment.

Gemäß einer besonders bevorzugten Fortbildung der vorstehend genannten Ausführungsform wird ein Wischzeitpunkt bestimmt als ein Zeitpunkt, ab dem der Betrag eines Wertes aus der Zeitreihe größer als ein vorgegebener dritter Schwellwert ist. Wenn das Scheibenwischblatt in den Flächenabschnitt eintritt, der durch das Bildsegment repräsentiert wird, steigen die Grauwerte der Bildpixel auf einen vergleichsweise hohen Wert an und ein vorgegebener dritter Schwellwert der Zeitreihe wird überschritten. Mit anderen Worten: Wenn ein vorgegebener dritter Schwellwert der Zeitreihe überschritten wird, ist das ein Anzeichen dafür, dass das Scheibenwischblatt in einen Flächenabschnitt eintritt. Damit wird Startzeitpunkt der Abklingdauer bestimmt als ein Zeitpunkt, welcher einen vorgegebenen Wartezeitabstand zu dem Wischzeitpunkt aufweist.According to a particularly preferred embodiment of the aforementioned embodiment, a wiping time is determined as a time from which the amount of a value from the time series is greater than a predetermined third threshold. When the windshield wiper blade enters the area segment represented by the image segment, the gray values of the image pixels increase to a comparatively high value and a predetermined third threshold of the time series is exceeded. In other words, if a predetermined third threshold of the time series is exceeded, this is an indication that the windshield wiper blade is entering a surface section. Thus, the starting time of the decay time is determined as a time having a predetermined waiting time interval at the time of wiping.

Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird die Güte des Scheibenwischsystems als ausreichend beurteilt, wenn die Abklingdauer kleiner als 250 ms ist.According to a further preferred embodiment of the method according to the invention, the quality of the windscreen wiper system is judged sufficient if the decay time is less than 250 ms.

Gemäß einer noch weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist das Bild ein Grauwertbild, bei dem jedes Pixel des Bildes mehrere, insbesondere 4096, vorzugsweise 256, Grauwerte einnehmen kann. Damit wird ein besonders zuverlässiges und präzises Verfahren zur Bestimmung der Abklingdauer geschaffen. Im Vergleich zu einem Bild, bei dem jedes Pixel lediglich zwei Werte, nämlich einen Wert für Schwarz und einen Wert für Weiß, einnehmen kann, ist das Ergebnis der bestimmten Abklingdauer gemäß dem erfindungsgemäßen Verfahren wesentlich genauer.In accordance with yet another embodiment of the method according to the invention, the image is a gray level image in which each pixel of the image can assume a plurality of, in particular 4096, preferably 256, gray values. This creates a particularly reliable and precise method for determining the decay time. Compared to an image in which each pixel can take only two values, namely a value for black and a value for white, the result of the determined decay time is much more accurate according to the method according to the invention.

Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird das erfasste Bild vor der Unterteilung in Bildsegmente zu einem Differenzbild gewandelt, welches gebildet wird aus der Differenz zwischen dem erfassten Bild und einem vor dem Benetzen der Scheibe erfassten Referenzbild der Scheibe. Dabei wird die Differenz vorzugsweise für jedes Bildpixel gebildet, d.h. der Grauwert eines Bildpixels des Referenzbildes wird jeweils von dem Grauwert des Bildpixels des Differenzbildes subtrahiert. Diese bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens schafft ein besonders stabiles Verfahren zur Bestimmung der Güte des Scheibenwischsystems. Das Differenzbild gibt lediglich Abweichungen des erfassten Bildes von dem Referenzbild wieder. Grauwerte eines Bildpixels, die beispielsweise aufgrund des Testaufbaus oder der Beleuchtungssituation im Betrieb des Fahrzeugs zustande kommen, werden durch das Bilden des Differenzbildes aus dem erfassten Bild und somit aus der Berechnung der Abklingdauer gefiltert. Auf die Bestimmung der Abklingdauer haben somit lediglich die folgenden Effekte einen Einfluss: Benetzen der Scheibe mit Flüssigkeit, Wischen der Scheibe und Abklingen der Schleier.In a further preferred embodiment of the method according to the invention, the image acquired before being subdivided into image segments is converted into a difference image, which is formed from the difference between the acquired image and a reference image of the wafer acquired before the wetting of the wafer. In this case, the difference is preferably formed for each image pixel, ie the gray value of an image pixel of the reference image is in each case subtracted from the gray value of the image pixel of the difference image. This preferred embodiment of the method according to the invention provides a particularly stable method for determining the quality of the windscreen wiper system. The difference image only reflects deviations of the captured image from the reference image. Gray values of an image pixel, which are due, for example, to the test setup or the lighting situation during operation of the vehicle, are formed by forming the difference image from the acquired image and thus the calculation of the cooldown filtered. Thus, only the following effects have an influence on the determination of the decay time: moistening the disc with liquid, wiping the disc and decaying the veils.

Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird nach Unterteilung des erfassten Bildes in Bildsegmente ein Bildsegment als vorgegebenes Bildsegment ermittelt, in dem Flüssigkeitsrückstände nach dem Wischen zu erwarten sind. Damit werden lediglich diejenigen Bildsegmente des erfassten Bildes in der weiteren Bestimmung der Abklingdauer verwendet, in der auch tatsächlich ein Schleier nach dem Wischen der Scheibe vorhanden ist. Das heißt zum Beispiel, dass ein Bildsegment, welches einen Flächenabschnitt der Oberfläche der Scheibe repräsentiert, der außerhalb des Wischbereichs des Scheibenwischblatts liegt, nicht als vorgegebenes Bildsegment in der Bestimmung der Abklingdauer verwendet wird. Mit anderen Worten: Es werden insbesondere Bildsegmente als vorgegebene Bildsegmente ausgewählt, die einen Flächenabschnitt der Scheibe repräsentieren, der innerhalb des Wischbereichs des Scheibenwischblatts liegt.According to a further preferred embodiment of the method according to the invention, after subdividing the acquired image into image segments, an image segment is determined as a predetermined image segment in which liquid residues are to be expected after wiping. Thus, only those image segments of the captured image are used in the further determination of the decay time, in which there actually is a haze after wiping the disc. That is, for example, an image segment representing a surface portion of the surface of the disk that is outside the wiping area of the windshield wiper blade is not used as a predetermined image segment in the determination of the decay time. In other words, in particular image segments are selected as predetermined image segments which represent a surface section of the pane which lies within the wiping region of the windscreen wiper blade.

Nach einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird die Zeitreihe vor dem Ableiten gefiltert und/oder geglättet. Das Filtern erfolgt vorzugsweise mittels eines Tiefpassfilters im Zeitbereich. Das Glätten erfolgt vorzugsweise mittels der sogenannten Whittacker-Henderson Methode, einer Ausgleichsrechnung, einer Regressionsanalyse, einer Lokalen Regression und/oder mittels eines LTI-Filters (LTI: linear time-invariant). Durch das Filtern und Glätten der Zeitreihe können Störungen in den erfassten Bildern, beispielsweise durch Bildrauschen hervorgerufene Störungen, zumindest teilweise ausgeglichen werden. Somit wird eine besonders zuverlässige Bestimmung der Güte eines Scheibenwischsystems geschaffen.According to another preferred embodiment of the method according to the invention, the time series is filtered and / or smoothed before deriving. The filtering is preferably carried out by means of a low-pass filter in the time domain. The smoothing is preferably carried out by means of the so-called Whittacker-Henderson method, a compensation calculation, a regression analysis, a local regression and / or by means of an LTI filter (LTI: linear time-invariant). By filtering and smoothing the time series, disturbances in the captured images, for example noise caused by image noise, can be at least partially compensated. Thus, a particularly reliable determination of the quality of a windshield wiper system is created.

In einer noch weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden die Bilder in mehreren Zeitpunkten mit jeweils konstantem zeitlichen Abstand zueinander erfasst, so dass die Abklingdauer anhand der Anzahl der zwischen dem Startzeitpunkt und dem Endzeitpunkt erfassten Bilder ermittelt wird. Dies schafft eine besonders einfache Möglichkeit zur Bestimmung der Abklingdauer. Dieser Vorgehensweise liegt die Erkenntnis zugrunde, dass Kameraeinheiten mehrere Bilder in der Regel mit konstanten Bilderfassungsraten erfassen. D.h. die mittels einer Kameraeinheit erfassten zeitlich aufeinanderfolgenden Bilder weisen jeweils einen konstanten zeitlichen Abstand zueinander auf. Damit kann eine Zeitdauer, wie beispielsweise die Abklingdauer, einfach anhand der Anzahl der erfassten Bilder bestimmt werden. Eine zusätzliche Zeitmesseinheit ist nicht erforderlich.In yet another preferred embodiment of the method according to the invention, the images are acquired at a plurality of points in time, each time at a constant time interval, so that the decay time is determined on the basis of the number of images acquired between the start time and the end time. This provides a particularly easy way to determine the decay time. This approach is based on the finding that camera units capture multiple images usually with constant image acquisition rates. That the temporally successive images recorded by means of a camera unit each have a constant temporal distance from each other. Thus, a period of time, such as the decay time, can be determined simply from the number of captured images. An additional time measuring unit is not required.

Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird der erste Schwellwert in Abhängigkeit einer Rauschintensität der Ableitung bestimmt. Der Begriff „Rauschintensität“ ist im Rahmen der vorliegenden Erfindung vorzugsweise zu verstehen als mittlere Intensität des stochastischen Bildrauschens.According to a further preferred embodiment of the method according to the invention, the first threshold value is determined as a function of a noise intensity of the derivative. The term "noise intensity" is to be understood in the context of the present invention preferably as the average intensity of the stochastic image noise.

Ein bevorzugtes Ausführungsbeispiel der Erfindung wird nun anhand der Zeichnung erläutert. Es zeigen:

  • 1 schematisch einen ersten Verfahrensabschnitt eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
  • 2 schematisch einen zweiten Verfahrensabschnitt eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
  • 3 ein erfasstes Bild einer Scheibe gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
  • 4 ein Diagramm einer Zeitreihe gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
  • 5 ein Diagramm einer gefilterten Zeitreihe gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und
  • 6 ein Diagramm einer Ableitung der gefilterten Zeitreihe gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
A preferred embodiment of the invention will now be explained with reference to the drawing. Show it:
  • 1 schematically a first method section of an embodiment of a method according to the invention,
  • 2 schematically a second process section of an embodiment of the method according to the invention,
  • 3 a captured image of a disk according to the embodiment of the method according to the invention,
  • 4 a diagram of a time series according to the embodiment of the method according to the invention,
  • 5 a diagram of a filtered time series according to the embodiment of the inventive method and
  • 6 a diagram of a derivative of the filtered time series according to the embodiment of the method according to the invention.

1 zeigt schematisch einen ersten Verfahrensabschnitt eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens, welcher das Erfassen der Bilder repräsentiert. 1 schematically shows a first method section of an embodiment of a method according to the invention, which represents the capture of the images.

In einem ersten Verfahrensschritt A1 wird ein Referenzbild einer Scheibe eines Fahrzeugs, die im Wesentlichen frei von Flüssigkeit ist, mittels einer Kameraeinheit in Form eines Grauwertbildes erfasst. In einem zweiten Verfahrensschritt A2 wird ein Video der Scheibe mittels einer Kameraeinheit erfasst, d.h. in mehreren, zeitlich aufeinanderfolgenden Zeitpunkten wird jeweils ein Bild einer Scheibe in Form eines Grauwertbildes erfasst. Die Scheibe ist Teil eines Scheibenwischsystems, welches zudem ein Scheibenwischblatt zum Wischen der Scheibe umfasst. Während des Erfassens der Scheibe zu mehreren, zeitlich aufeinanderfolgenden Zeitpunkten wird in einer Phase AI die Scheibe mit einer Flüssigkeit benetzt. In einer weiteren Phase AII wird die Scheibe während des Erfassens mittels eines Scheibenwischblatts des Scheibenwischsystems gewischt. Schließlich evaporieren während des Erfassens der Scheibe Flüssigkeitsrückstände in einer Phase AIII.In a first process step A1 is a reference image of a disc of a vehicle that is substantially free of liquid, detected by a camera unit in the form of a gray value image. In a second process step A2 a video of the disc is detected by means of a camera unit, that is, in several temporally successive time points in each case an image of a disc is detected in the form of a gray value image. The disc is part of a windshield wiper system, which also includes a windshield wiper blade for wiping the wheel. During the acquisition of the disc at several temporally successive times becomes in one phase AI wet the glass with a liquid. In another phase AII the disk is wiped during the detection by means of a windshield wiper blade of the windscreen wiper system. Finally, during the collection of the disc, liquid residues evaporate in phase AIII.

2 zeigt schematisch einen zweiten Verfahrensabschnitt eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, welcher die Auswertung der erfassten Bilder repräsentiert. 2 schematically shows a second method section of an embodiment of the method according to the invention, which represents the evaluation of the captured images.

In einem Verfahrensschritt B1 werden Daten, welche die erfassten Bilder, nämlich das erfasste Referenzbild und die während der Phasen AI bis AIII erfassten Bilder, umfassen, mittels einer Computereinheit in einen Speicher zur Weiterverarbeitung geladen. In einem Verfahrensschritt B2 wird ein erstes Bild der während der Phasen AI bis AIII erfassten Bilder mittels eines entsprechenden Computerprogramms aufgerufen und in einem Verfahrensschritt B3 ein Differenzbild gebildet aus der Differenz zwischen dem erfassten Bild und dem erfassten Referenzbild. Die Differenz wird gebildet für jedes Bildpixel, d.h. der Grauwert eines Bildpixels des Referenzbildes wird jeweils von dem Grauwert des Bildpixels des Differenzbildes subtrahiert.In one process step B1 become data which the captured images, namely the acquired reference image and during the phases AI to AIII captured images include, loaded by means of a computer unit in a memory for further processing. In one process step B2 becomes a first picture of the during the phases AI to AIII captured images by means of a corresponding computer program called and in one step B3 a difference image formed from the difference between the captured image and the acquired reference image. The difference is formed for each image pixel, ie the gray value of an image pixel of the reference image is in each case subtracted from the gray value of the image pixel of the difference image.

In einem Verfahrensschritt B4 wird das Differenzbild der Scheibe in mehrere Bildsegmente unterteilt und in einem Verfahrensschritt B5 in einem Speicher der Computereinheit gespeichert.In one process step B4 the difference image of the disc is divided into several image segments and in one process step B5 stored in a memory of the computer unit.

Auf den Verfahrensschritt B5 folgt ein Verfahrensschritt B6, in dem bestimmt wird, ob ein weiteres Bild der während der Phasen AI bis AIII erfassten Bilder mittels des Computerprogramms gemäß Verfahrensschritt B2 aufgerufen wird. Die Bestimmung erfolgt anhand des folgenden Kriteriums: erst wenn alle erfassten Bilder jeweils gemäß den Schritten B2 bis B5 verarbeitet wurden, folgt auf den Verfahrensschritt B6 der Verfahrensschritt C1. Mit andere Worten: Nach dem Bilden von Differenzbildern und dem Unterteilen in Bildsegmente (Segmentieren) aller erfassten Bilder der Scheibe folgt ein Verfahrensschritt C1. In diesem Verfahrensschritt C1 wird ein Bildsegment des Bildes als vorgegebenes Bildsegment ermittelt, in dem Flüssigkeitsrückstände nach dem Wischen zu erwarten sind. Um dies zu erreichen, wird aus den Bildsegmenten ein Bildsegment ausgewählt, welches einen Flächenabschnitt der Scheibe repräsentiert, der in einem Wischbereich des Scheibenwischblatts liegt.On the process step B5 followed by a step B6, in which it is determined whether another image of the during the phases AI to AIII captured images by means of the computer program according to method step B2 is called. The determination is made on the basis of the following criterion: first when all captured images are respectively in accordance with the steps B2 to B5 were processed, followed by the process step B6, the process step C1 , In other words, after forming difference images and dividing into image segments (segmentation) of all captured images of the disc, a process step follows C1 , In this process step C1 an image segment of the image is determined as a predetermined image segment in which liquid residues are to be expected after wiping. To achieve this, an image segment is selected from the image segments, which represents a surface portion of the disc, which lies in a wiping region of the windshield wiper blade.

Ein Beispiel eines erfassten Bildes der Scheibe ist in 3 gezeigt. Ein Bildsegment 31 repräsentiert einen Flächenabschnitt der erfassten Scheibe 32, der in einem Wischbereich 35 des Scheibenwischblatts 33 liegt. In dem Flächenabschnitt entstehen nach dem Wischen der Scheibe Flüssigkeitsrückstände 34, die innerhalb einer zu ermittelnden Abklingdauer evaporieren.An example of a captured image of the disk is in 3 shown. An image segment 31 represents a surface section of the detected disk 32 which lies in a wiping region 35 of the windshield wiper blade 33. After wiping the disk, liquid residues 34 which evaporate within a decay time to be determined are formed in the surface section.

Nach dem Auswählen des Bildsegments als vorgegebenes Bildsegment 31 wird in einem Verfahrensschritt C2 für das vorgegebene Bildsegment zu allen erfassten Zeitpunkten des Bildes jeweils ein Mittelwert gebildet aus Grauwerten von innerhalb des Bildsegments liegenden Bildpixeln. Aus den gebildeten Mittelwerten zu den erfassten Zeitpunkten des Bildes wird in einem Verfahrensschritt D eine Zeitreihe für das vorgegebene Bildsegment gebildet.After selecting the image segment as a predetermined image segment 31 is in a process step C2 for the given image segment at all detected times of the image, in each case a mean value formed from gray values of image pixels lying within the image segment. From the mean values formed at the recorded times of the image, in one process step D formed a time series for the given image segment.

Ein Beispiel für eine Zeitreihe zeigt 4 als Diagramm, welches den zeitlichen Verlauf dreier Zeitreihen 40a bis c von drei vorgegebenen Bildsegmenten eines Bildes repräsentiert. Die Ausschläge 41 im Diagramm repräsentieren jeweils einen Durchlauf des Scheibenwischblatts 33. So repräsentiert beispielsweise der Ausschlag 42 den Hinweg des Scheibenwischblatts beim Wischen und der Ausschlag 43 den Rückweg des Scheibenwischblatts beim Wischen. Nach dem Wischen evaporieren die Flüssigkeitsrückstände auf der Scheibe, was jeweils durch einen im Wesentlichen exponentiellen Abklingverlauf der Zeitreihe in einem Abklingbereich 45 des Diagramms repräsentiert wird.An example of a time series shows 4 as a diagram representing the time course of three time series 40a to c of three predetermined image segments of an image. The rashes 41 in the diagram each represent one pass of the windshield wiper blade 33. Thus, for example, the rash 42 represents the way of the windshield wiper blade when wiping and the rash 43 the return path of the windshield wiper blade during wiping. After wiping, the liquid residues evaporate on the disk, which is represented in each case by a substantially exponential decay course of the time series in a decay region 45 of the diagram.

In einem weiteren Verfahrensschritt E1 wird die Zeitreihe gefiltert mittels eines LTI-Filters (LTI: linear time-invariant). 5 zeigt gefilterte Zeitreihen 50a bis c, die durch das Filtern der in 4 gezeigten Zeitreihen 40a bis c gemäß Verfahrensschritt E1 gebildet werden. Demnach zeigt 5 ein Diagramm, welches den zeitlichen Verlauf dreier gefilterter Zeitreihen 50a bis c der drei vorgegebenen Bildsegmente eines erfassten Bildes repräsentiert. Die Ausschläge 51 im Diagramm repräsentieren jeweils einen Durchlauf des Scheibenwischblatts beim Wischen. Die nach dem Wischen evaporierenden Flüssigkeitsrückstände auf der Scheibe, werden jeweils durch einen im Wesentlichen exponentiellen Abklingverlauf der Zeitreihen 50a bis c in einem Abklingbereich 55 des Diagramms repräsentiert. Ein Zeitpunkt 56 wird dabei als Wischzeitpunkt festgelegt, an dem einer der Ausschläge 51 einen vorgegebenen Wischschwellwert 57, welcher einen dritten Schwellwert repräsentiert, überschreitet.In a further process step E1 the time series is filtered by means of an LTI filter (LTI: linear time-invariant). 5 shows filtered time series 50a-c, which are obtained by filtering the in 4 shown time series 40a to c according to method step E1 be formed. Accordingly, shows 5 a diagram representing the time course of three filtered time series 50a to c of the three predetermined image segments of a captured image. The rashes 51 in the diagram each represent a passage of the windshield wiper blade during wiping. The liquid residues on the pane which evaporate after wiping are each represented by a substantially exponential decay curve of the time series 50a to c in a decay area 55 of the diagram. A point in time 56 is determined as the wiping time at which one of the deflections 51 exceeds a predetermined wiper threshold value 57, which represents a third threshold value.

In einem auf den Verfahrensschritt E1 folgenden Verfahrensschritt E2 wird eine Ableitung der Zeitreihe gebildet. 6 zeigt drei Ableitungen 60a bis c der in 5 gezeigten gefilterten Zeitreihen 50a bis c. Demnach zeigt 6 ein Diagramm, welches für die drei Bildsegmente jeweils den zeitlichen Verlauf der Ableitungen 60a bis c der gefilterten Zeitreihen 50a bis c repräsentiert. Die Ausschläge 61 in dem zeitlichen Verlauf der Ableitung repräsentieren das Eintreten des Scheibenwischblatts 33 in das jeweilige Bildsegment 31 (3), bei dem eine starke und schnelle Änderung der Zeitreihe erfolgt, die sich in den Ausschlägen 61 der Ableitung der Zeitreihe widerspiegelt. Ähnlich zu der Festlegung des Wischzeitpunktes anhand der in 5 gezeigten Ausschläge wird auch anhand der Ausschläge 61 in einem Verfahrensschritt F1 ein Zeitpunkt 62 des Eintretens des Scheibenwischblatts 33 in das jeweilige Bildsegment 31 (3) bestimmt, welcher einen Wischzeitpunkt angibt.In one on the process step E1 following process step E2 a derivative of the time series is formed. 6 shows three leads 60a-c of in 5 shown filtered time series 50a to c. Accordingly, shows 6 a diagram which represents the time profile of the derivatives 60a to c of the filtered time series 50a to c respectively for the three image segments. The rashes 61 in the time course of the derivation represent the entry of the windshield wiper blade 33 into the respective image segment 31 (FIG. 3 ), in which there is a strong and rapid change in the time series, which is reflected in the rash 61 of the derivative of the time series. Similar to the determination of the wiping time on the basis of in 5 shown rashes is also based on the rash 61 in one step F1 a time 62 of the entry of the windshield wiper blade 33 into the respective image segment 31 (FIG. 3 ), which indicates a wiping time.

Während des Durchlaufs des Scheibenwischers sinkt die Ableitung kurzzeitig auf einen Wert 63 um Null, welcher wesentlich geringer als der Wert der Ableitung beim Ausschlag 61 ist. Beim Austreten des Scheibenwischers aus dem jeweiligen Bildsegments 31 (3) sinkt die Ableitung der Zeitreihe auf einen negativen Wert. Sofern dieser negative Wert einen vorgegebenen Initiierungsschwellwert 66 unterschreitet (d.h. der Betrag der Ableitung ist größer als der Betrag des Initiierungsschwellwertes), wird ein Startzeitpunkt der Abklingdauer bestimmt als ein Zeitpunkt 67, ab dem die Ableitung größer als ein vorgegebener Startschwellwert 68 ist, der einen vorgegebenen zweiten Schwellwert repräsentiert (d.h. der Betrag der Ableitung ist kleiner als der Betrag des Startschwellwertes 68). Ab diesem Zeitpunkt 67 wird in einem Verfahrensschritt F2 die Zeitdauer 69 bestimmt, bis die Ableitung ab einem Endzeitpunkt 70 größer als ein vorgegebener Endschwellwert 71 ist, welcher einen vorgegebenen ersten Schwellwert repräsentiert (d.h. der Betrag der Ableitung ist kleiner als der Betrag des Endschwellwertes). Die Zeitdauer 69 repräsentiert die Abklingdauer der Flüssigkeitsrückstände auf der Scheibe nach dem Wischen.During the passage of the windscreen wiper, the derivative briefly sinks to a value 63 around zero, which is substantially lower than the value of the derivative at the rash 61. When the windscreen wiper exits the respective image segment 31 (FIG. 3 ) the derivative of the time series drops to a negative value. If this negative value falls below a predetermined initiation threshold value 66 (ie, the magnitude of the derivative is greater than the amount of the initiation threshold value), a start time of the decay time is determined as a time point 67 at which the derivative is greater than a predetermined start threshold value 68 which is a predetermined one second threshold (ie, the amount of derivative is less than the amount of start threshold 68). From this point 67 is in a process step F2 determines the period 69 until the derivative is greater than a predetermined end threshold 71 from an end time 70, which represents a predetermined first threshold (ie, the amount of the derivative is less than the amount of the end threshold). The time period 69 represents the decay time of the liquid residues on the disc after wiping.

In einem weiteren Verfahrensschritt G wird die ermittelte Zeitdauer 69 bewertet. Wenn die Zeitdauer 69 kleiner als ein vorgegebener Abklingschwellwert ist, wird die Güte des Scheibenwischsystems als ausreichend bestimmt. Wenn die ermittelte Zeitdauer 69 größer als der vorgegebene Abklingschwellwert ist, wird die Güte des Scheibenwischsystems als mangelhaft bestimmt.In a further process step G the determined time period 69 is evaluated. If the time period 69 is less than a predetermined settling threshold, the quality of the windshield wiper system is determined to be sufficient. If the determined time period 69 is greater than the predetermined decay threshold, the quality of the windshield wiper system is determined to be deficient.

In einem Verfahrensschritt H wird bestimmt, ob ein weiteres Bildsegment anhand der Schritte C1 bis G ausgewertet werden soll. Beispielsweise werden keine weiteren Bildsegmente gemäß den Schritten C1 bis G ausgewertet, wenn bereits eine vorgegebene Anzahl von Bildsegmenten gemäß den Schritten C1 bis G ausgewertet wurde.In one process step H determines if another image segment based on the steps C1 to G to be evaluated. For example, no further image segments are created according to the steps C1 to G evaluated if already a predetermined number of image segments according to the steps C1 to G was evaluated.

Werden keine weiteren Bildsegmente ausgewertet, wird in einem Verfahrensschritt J das Über- oder Unterschreiten des Abklingschwellwertes als Gütesignal an eine Anzeigeeinheit gesendet. Die Anzeigeeinheit ist vorzugsweise in einem Prüfstand oder einer Werkstatt angeordnet und zeigt einem Nutzer (z.B. Prüfer) an, dass das Scheibenwischsystem eine mangelnde Güte aufweist. Die Anzeigeeinheit kann beispielsweise auch in den Armaturen eines Fahrzeugs angeordnet sein und dem Fahrzeugführer anzeigen, dass das Scheibenwischblatt und/oder die Scheibe selbst auszutauschen ist.If no further image segments are evaluated, is in one step J the above or below the Abklingschwellwertes sent as a quality signal to a display unit. The display unit is preferably arranged in a test stand or a workshop and indicates to a user (eg examiner) that the windscreen wiper system has a poor quality. The display unit may for example also be arranged in the fittings of a vehicle and indicate to the vehicle driver that the windscreen wiper blade and / or the windscreen itself is to be exchanged.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

A1A1
Erfassen des ReferenzbildesCapture the reference image
A2A2
Erfassen von Bilder in mehreren, zeitlich aufeinanderfolgenden ZeitpunktenCapture images in multiple, temporally successive moments
AIAI
die Scheibe wird mit Flüssigkeit benetztthe disk is wetted with liquid
AIIAII
die Scheibe wird gewischtthe disc is wiped
AIIIAIII
Flüssigkeitsrückstände evaporierenEvaporate liquid residues
B1B1
Laden von BilddatenLoading image data
B2B2
Öffnen eines BildesOpen a picture
B3B3
Bilden eines DifferenzbildesForming a difference image
B4B4
Unterteilen des Bildes in mehrere BildsegmenteDivide the image into several image segments
B5B5
Speichern der BildsegmenteSave the image segments
C1C1
Ermitteln eines vorgegebenen BildsegmentsDetermining a given image segment
C2C2
Bilden eines Mittelwerts für ein vorgegebenes Bildsegment und die erfassten ZeitpunkteForming an average for a given image segment and the detected times
DD
Bilden einer Zeitreihe aus den MittelwertenForm a time series from the mean values
E1E1
Filtern der ZeitreiheFilter the time series
E2E2
Bilden einer Ableitung der ZeitreiheForming a derivation of the time series
F1F1
Bestimmen eines WischzeitpunktsDetermining a wiping time
F2F2
Bestimmen eines Endzeitpunkts der AbklingdauerDetermining an end time of the cooldown
GG
Bewerten der AbklingdauerRate the cooldown
HH
Bestimmen, ob ein weiteres Bildsegment ausgewertet werden sollDetermine if another image segment should be evaluated
JJ
Senden eines Gütesignals an eine AnzeigeeinheitSending a quality signal to a display unit

Claims (11)

Verfahren zum Bestimmung einer Güte eines Scheibenwischsystems mit den Schritten: a) in mehreren, zeitlich aufeinanderfolgenden Zeitpunkten jeweils ein Bild einer Scheibe (32) des Scheibenwischsystems mittels einer Kameraeinheit zu erfassen (A2), während i. die Scheibe (32) mit einer Flüssigkeit benetzt wird (AI), ii. die Scheibe (32) mittels eines Scheibenwischblatts (33) des Scheibenwischsystems gewischt wird (All) und iii. Flüssigkeitsrückstände (34) nach dem Wischen der Scheibe (32) evaporieren (AIII), b) die erfassten Bilder der Scheibe (32) jeweils in mehrere Bildsegmente zu unterteilen (B4), c) für ein vorgegebenes Bildsegment (31) und die erfassten Zeitpunkte jeweils einen Mittelwert zu bilden (C2) aus Grauwerten von innerhalb des Bildsegments (31) liegenden Bildpixeln des Bildes, d) für das vorgegebene Bildsegment (31) eine Zeitreihe zu bilden (D) aus den gebildeten Mittelwerten für die erfassten Zeitpunkte, e) eine Ableitung (60a bis c) der Zeitreihe zu bilden (E2), f) einen Endzeitpunkt (70) einer Abklingdauer (69) zu ermitteln (F2), ab dem der Betrag der Ableitung der Zeitreihe kleiner als der Betrag eines vorgegebenen ersten Schwellwerts (71) ist, und g) die Güte des Scheibenwischsystems als ausreichend zu beurteilen, wenn die Abklingdauer kleiner als ein vorgegebener Zeitschwellwert ist.Method for determining a quality of a windshield wiper system comprising the steps of: a) detecting an image of a windshield wiper system (32) by means of a camera unit at a plurality of chronologically successive times while i. the disc (32) is wetted with a liquid (AI), ii. the disc (32) is wiped by means of a windscreen wiper blade (33) of the windscreen wiper system (All) and iii. After the wiping of the disc (32), liquid residues (34) evaporate (AIII), b) subdivide the captured images of the disc (32) into several image segments (B4), c) for a given image segment (31) and the detected times in each case an average value form (C2) from gray values of image pixels of the image lying within the image segment (31), d) for the given image segment (31) to form a time series (D) from the averaged values for the detected times, e) a derivative (60a to c) the time series (E2), f) an end time (70) of a decay time (69) to determine (F2), from which the amount of derivative of the time series is smaller than the amount of a predetermined first threshold (71), and g) judging the quality of the windscreen wiper system as sufficient if the decay time is less than a predetermined time threshold. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Startzeitpunkt der Abklingdauer (69) bestimmt wird als ein Zeitpunkt (67), ab dem der Betrag der Ableitung kleiner als der Betrag eines vorgegebenen zweiten Schwellwerts (68) ist.Method according to Claim 1 characterized in that a start time of the fade duration (69) is determined as a time (67) beyond which the amount of the derivative is less than the magnitude of a predetermined second threshold (68). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Startzeitpunkt der Abklingdauer bestimmt wird als ein Zeitpunkt, welcher einen vorgegebenen Wartezeitabstand zu einem Wischzeitpunkt aufweist.Method according to Claim 1 , characterized in that a start time of the decay time is determined as a time which has a predetermined waiting time interval at a wiping time. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass ein Wischzeitpunkt bestimmt wird als ein Zeitpunkt (56), ab dem der Betrag eines Wertes aus der Zeitreihe größer als ein vorgegebener dritter Schwellwert (57) ist.Method according to Claim 3 , characterized in that a wiping time is determined as a time (56), from which the amount of a value from the time series is greater than a predetermined third threshold (57). Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Güte des Scheibenwischsystems als ausreichend beurteilt wird, wenn die Abklingdauer kleiner als kleiner als 250 ms ist.Method according to at least one of the preceding claims, characterized in that the quality of the windscreen wiper system is judged sufficient if the decay time is less than less than 250 ms. Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Bild ein Grauwertbild ist, bei dem jedes Pixel des Bildes mehrere, insbesondere 4096, vorzugsweise 256, Grauwerte einnehmen kann.Method according to at least one of the preceding claims, characterized in that the image is a halftone image, in which each pixel of the image can occupy several, in particular 4096, preferably 256, gray values. Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das erfasste Bild vor dem Unterteilen in Bildsegmente gewandelt wird (B3) zu einem Differenzbild, welches gebildet wird aus der Differenz zwischen dem erfassten Bild und einem vor dem Benetzen der Scheibe (32) erfassten Referenzbild der Scheibe (32).Method according to at least one of the preceding claims, characterized in that before being subdivided, the acquired image is converted into image segments (B3) to form a difference image which is formed from the difference between the acquired image and one before wetting of the wafer (32) Reference image of the disc (32). Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass nach dem Unterteilen des erfassten Bildes in Bildsegmente ein Bildsegment (31) als vorgegebenes Bildsegment (31) ermittelt wird (C1), in dem Flüssigkeitsrückstände (34) nach dem Wischen zu erwarten sind.Method according to at least one of the preceding claims, characterized in that after subdividing the acquired image into image segments, an image segment (31) is determined as a predetermined image segment (C1) in which liquid residues (34) are to be expected after wiping. Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Zeitreihe vor dem Ableiten gefiltert (E1) und/oder geglättet wird.Method according to at least one of the preceding claims, characterized in that the time series is filtered (E1) and / or smoothed before deriving. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Bilder in mehreren Zeitpunkten mit jeweils konstantem zeitlichen Abstand zueinander erfasst werden, so dass die Abklingdauer ermittelt wird anhand der Anzahl der zwischen dem Startzeitpunkt und dem Endzeitpunkt erfassten Bilder.Method according to Claim 2 or 3 , characterized in that the images are detected at a plurality of points in time, each with a constant time interval to each other, so that the decay time is determined based on the number of captured between the start time and the end time images. Verfahren nach wenigstens einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der erste Schwellwert in Abhängigkeit einer Rauschintensität der Ableitung bestimmt wird.Method according to at least one of the preceding claims, characterized in that the first threshold value is determined as a function of a noise intensity of the derivative.
DE102012024547.5A 2012-12-17 2012-12-17 Method for determining a quality of a windscreen wiper system Expired - Fee Related DE102012024547B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012024547.5A DE102012024547B4 (en) 2012-12-17 2012-12-17 Method for determining a quality of a windscreen wiper system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012024547.5A DE102012024547B4 (en) 2012-12-17 2012-12-17 Method for determining a quality of a windscreen wiper system

Publications (2)

Publication Number Publication Date
DE102012024547A1 DE102012024547A1 (en) 2014-06-18
DE102012024547B4 true DE102012024547B4 (en) 2018-07-05

Family

ID=50821087

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012024547.5A Expired - Fee Related DE102012024547B4 (en) 2012-12-17 2012-12-17 Method for determining a quality of a windscreen wiper system

Country Status (1)

Country Link
DE (1) DE102012024547B4 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2932461A1 (en) 1979-08-10 1981-02-26 Bosch Gmbh Robert METHOD FOR EVALUATING THE QUALITY OF THE WIPER BLADE / DISC SURFACE SYSTEM

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2932461A1 (en) 1979-08-10 1981-02-26 Bosch Gmbh Robert METHOD FOR EVALUATING THE QUALITY OF THE WIPER BLADE / DISC SURFACE SYSTEM

Also Published As

Publication number Publication date
DE102012024547A1 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
EP2569953B1 (en) Optical self-diagnosis of a stereoscopic camera system
DE102016216118B4 (en) Object recognition device and stain detection method
DE102005044486B4 (en) Method for detecting the surface condition of a road, as well as detection system and driver assistance system for implementing the method
DE102008001679A1 (en) Method and device for processing recorded image information from a vehicle
DE10201522A1 (en) Method and device for detecting visual impairments in image sensor systems
DE102017120983A1 (en) WINDSHIELD CLEANING SYSTEM AND METHOD
EP2720912A1 (en) Method and apparatus for identifying directional structures on a window of a vehicle
DE102010015214A1 (en) Method and device for driver assistance when driving a vehicle by detecting weather-related visual restrictions
DE102013212495A1 (en) Method and device for inspecting a contoured surface, in particular the underbody of a motor vehicle
EP3111200A1 (en) Method for detecting flaws in the walls of hollow glass items
DE2932461A1 (en) METHOD FOR EVALUATING THE QUALITY OF THE WIPER BLADE / DISC SURFACE SYSTEM
DE102017217072B4 (en) Method for detecting a weather condition in an area surrounding a motor vehicle, and control device and motor vehicle
DE102015007794A1 (en) Method and device for detecting moisture and / or contamination on an outside of a cover of an image sensor
DE102011079005B4 (en) Method for self-diagnosis of cameras and image recording system with at least one camera for carrying out the method
DE102012024547B4 (en) Method for determining a quality of a windscreen wiper system
DE112013002024T5 (en) Color vision inspection system and method for inspecting a vehicle
DE102011013527A1 (en) Method and device for detecting water on a vehicle window
WO2014032933A1 (en) Method for operating a vehicle
DE102010026085B4 (en) Method for monitoring at least one gear of a gear in operation
DE102006040349B4 (en) Method and device for detecting defective pixels of an image sensor in a driver assistance system
DE102014224127A1 (en) Method and device for monitoring the surface roughness of a pane
WO2011104124A1 (en) Method and apparatus for analysing an image from an image capture device for a vehicle
DE10230200A1 (en) Method and device for the detection of objects located on a surface of a transparent element
DE102018108343A1 (en) Method for automatic recognition of a loading area
DE102021005387A1 (en) Method for outputting a warning in the event of a blockage and vehicle detected in a field of view of a surrounding camera of a vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

R082 Change of representative

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

R082 Change of representative

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

R081 Change of applicant/patentee

Owner name: VOLKSWAGEN AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNER: CBB SOFTWARE GMBH, 23562 LUEBECK, DE

Effective date: 20130417

Owner name: CBB SOFTWARE GMBH, DE

Free format text: FORMER OWNER: CBB SOFTWARE GMBH, VOLKSWAGEN AKTIENGESELLSCHAFT, , DE

Effective date: 20140507

Owner name: VOLKSWAGEN AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNER: CBB SOFTWARE GMBH, VOLKSWAGEN AKTIENGESELLSCHAFT, , DE

Effective date: 20140507

Owner name: CBB SOFTWARE GMBH, DE

Free format text: FORMER OWNER: CBB SOFTWARE GMBH, 23562 LUEBECK, DE

Effective date: 20150226

Owner name: VOLKSWAGEN AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNER: CBB SOFTWARE GMBH, 23562 LUEBECK, DE

Effective date: 20150226

Owner name: CBB SOFTWARE GMBH, DE

Free format text: FORMER OWNER: CBB SOFTWARE GMBH, 23562 LUEBECK, DE

Effective date: 20130417

Owner name: VOLKSWAGEN AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNERS: CBB SOFTWARE GMBH, 23562 LUEBECK, DE; VOLKSWAGEN AKTIENGESELLSCHAFT, 38440 WOLFSBURG, DE

Effective date: 20140507

Owner name: CBB SOFTWARE GMBH, DE

Free format text: FORMER OWNERS: CBB SOFTWARE GMBH, 23562 LUEBECK, DE; VOLKSWAGEN AKTIENGESELLSCHAFT, 38440 WOLFSBURG, DE

Effective date: 20140507

R082 Change of representative

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

Effective date: 20140507

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

Effective date: 20130417

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

Effective date: 20150226

R081 Change of applicant/patentee

Owner name: CBB SOFTWARE GMBH, DE

Free format text: FORMER OWNERS: CBB SOFTWARE GMBH, 23562 LUEBECK, DE; VOLKSWAGEN AKTIENGESELLSCHAFT, 38440 WOLFSBURG, DE

R082 Change of representative

Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R083 Amendment of/additions to inventor(s)
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee