EP3741284B1 - Geschirrspülmaschine mit einer bilderfassungseinrichtung und verfahren zum betreiben einer derartigen geschirrspülmaschine - Google Patents

Geschirrspülmaschine mit einer bilderfassungseinrichtung und verfahren zum betreiben einer derartigen geschirrspülmaschine Download PDF

Info

Publication number
EP3741284B1
EP3741284B1 EP20173603.0A EP20173603A EP3741284B1 EP 3741284 B1 EP3741284 B1 EP 3741284B1 EP 20173603 A EP20173603 A EP 20173603A EP 3741284 B1 EP3741284 B1 EP 3741284B1
Authority
EP
European Patent Office
Prior art keywords
dishwasher
image
spray arm
camera
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP20173603.0A
Other languages
English (en)
French (fr)
Other versions
EP3741284A1 (de
Inventor
Eckard Riedenklau
Martin Kornberger
Seyfettin Kara
Holger Ernst
Alexander Adam
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miele und Cie KG
Original Assignee
Miele und Cie KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miele und Cie KG filed Critical Miele und Cie KG
Publication of EP3741284A1 publication Critical patent/EP3741284A1/de
Application granted granted Critical
Publication of EP3741284B1 publication Critical patent/EP3741284B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/14—Washing or rinsing machines for crockery or tableware with stationary crockery baskets and spraying devices within the cleaning chamber
    • A47L15/18—Washing or rinsing machines for crockery or tableware with stationary crockery baskets and spraying devices within the cleaning chamber with movably-mounted spraying devices
    • A47L15/22—Rotary spraying devices
    • A47L15/23—Rotary spraying devices moved by means of the sprays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0049—Detection or prevention of malfunction, including accident prevention
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/24—Spray arms status, e.g. detection of spray arm rotation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/26—Indication or alarm to the controlling device or to the user
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/36—Other output

Definitions

  • the invention relates to a method for operating a dishwasher, in particular a household dishwasher, the dishwasher being used to clean items to be washed in a washing area and having an image acquisition device for recording images of the washing area.
  • the invention also relates to such a dishwasher.
  • a camera image created before or during a running cleaning program is evaluated in order to determine the degree of soiling of the items to be washed.
  • a washing program optimized for the degree of soiling can be set under computer control, or a set washing program can be optimized with regard to the degree of soiling.
  • From the pamphlet EP 1 793 723 B1 is also known to determine a load status of the dishwasher using an image acquisition device.
  • the evaluation is based on a three-dimensional image that is created with the help of an image acquisition system that takes the propagation times of the light into account.
  • the EP 3 427 630 A1 discloses a dishwasher with an image acquisition device, which is used to monitor whether specific parts of the dishwasher, such as the spray arm, or items to be washed are moving. This is done by comparing an image recorded during the rinsing process with an image recorded before the rinsing process.
  • a speed of one or more spray arms visible on the camera image is determined from an evaluation of video recordings of the camera from the washing area.
  • the spray arm is usually a nuisance in the camera image from the washing chamber of a dishwasher. It has been shown that camera shots appear particularly blurry when the spray arm is in operation and is close to the camera lens at the moment the picture is taken.
  • a method according to the invention of the type mentioned at the outset comprises the following steps: a signal from a sensor which is coupled to a spray arm of the dishwasher is evaluated, with the signal reflecting a rotation of the spray arm. An image of the washing area is then recorded by the image acquisition device as a function of the evaluated signal.
  • the signal from the sensor is used to instruct the image capture device, e.g. a camera, to take a picture of the wash cabinet at the optimum time.
  • the image capture device e.g. a camera
  • the image is recorded at a specific angle of rotation of the spray arm. Due to this synchronization, camera recordings are only made when the spray arm is in a certain rotational position in which it affects the camera image as little as possible. In this way, details from the wash cabinet become more visible and an evaluation, e.g.
  • the image is recorded when the signal indicates that the spray arm is not rotating, ie when the sensor detects a blockage of the spray arm.
  • a blockage leads to an unsatisfactory washing result since the washing liquor is not optimally distributed in the washing compartment.
  • the captured image visualizes the cause of the blockage.
  • the combination of image capturing device and sensor according to the application can advantageously be used to indicate such a blockage to a user of the dishwasher in such a way that he can eliminate it quickly and easily.
  • a data message is sent from the dishwasher's control device to a mobile device if the signal indicates that the spray arm is not rotating.
  • the captured image can or at least an excerpt from it can be transmitted to the mobile device in order to be able to present it to the user and thus show details of the blocking.
  • a dishwasher according to the invention is characterized in that, in addition to the image acquisition device, which can be designed as a camera, for example, it also has a sensor with which a rotation of a spray arm can be detected, the sensor being connected to the control device for evaluation and the Control device is set up to control the image acquisition device depending on a signal from the sensor.
  • the Figures 1a and b each show a schematic view of a dishwasher in a vertical sectional view.
  • the dishwasher which can be a household appliance as well as a machine for professional use, has a body 1 with a door 2 which surrounds a washing compartment 3 .
  • a washing chamber 3 Within the washing chamber 3 are usually several, here for example two wash baskets 4 are arranged one above the other.
  • one in the figure 1 unspecified cutlery holder available. Different items to be washed can be sorted into the items to be washed.
  • a cutlery basket can be present in one of the washware baskets 4 .
  • a spray arm is assigned to each of the wash baskets 4, which spray arm rotates during washing operation and sprays washing liquid onto the wash items. Only one spray arm 5 assigned to the upper rack 4 is shown in the figures.
  • the two Figures 1a and b show the spray arm 5 in two different rotational positions at an angle of 90° to one another.
  • washing liquid collects in a washing sump, also called washing liquid pot, in which it can be heated and pumped to the spray arms 5 .
  • the flushing sump and components for circulating the flushing liquid are shown in the schematic drawing of FIG figure 1 not reproduced.
  • a control device 6 for controlling the dishwasher is arranged in the door 2 of the dishwasher.
  • the control device 6 is in the form of a sequence control based on a microcontroller or processor.
  • a dosing unit 7 with which the cleaning agent required can be automatically dosed into the washing compartment 3 during a washing process.
  • a camera 8 is integrated into the dosing unit 7 as an image capturing device, which is directed into the washing compartment 3 in order to record an image of the washing compartment 3 .
  • a light source 9 is also arranged in the washing compartment 3 and can be switched on as required when the camera 8 takes an image of the washing compartment 3 .
  • a light source can also be arranged in the area of the camera 8 itself, which light source is designed, for example, in the shape of a ring around a lens of the camera 8 .
  • the camera 8 is a two-dimensional recording camera.
  • a three-dimensional recording camera can also be used, for example a TOF (time of flight) camera, which takes the propagation times of light into account.
  • a stereoscopically recording arrangement of two cameras is also considered an image acquisition device within the scope of the application.
  • the recording direction (optical axis) of the camera 8 is aligned horizontally.
  • Other alignments of the camera 8 are conceivable. For example, for a camera assigned to the upper rack 4, it can be useful to align the camera in such a way that she looks obliquely from below at the upper wash basket 4, since cups or vessels are often sorted into the upper wash basket 4 with the soiled surface facing down.
  • the spray arm 5 is coupled to a sensor 10 for detecting the position of the spray arm 5 .
  • the sensor 10 can, for example, be a magnetic sensor fixed relative to the body 1, with one or more magnets being arranged on the spray arm 5.
  • a Hall sensor for example, can be used as the magnetic sensor.
  • figure 2 shows various parameters and signals over time during the implementation of a method according to the application.
  • a continuous time t is shown on a horizontal axis.
  • the time courses of various parameters are shown on a vertical axis.
  • projected position 20 of a spray arm for example the spray arm 5 according to FIGS Figures 1a and 1b .
  • projected means projected onto a spatial direction, so that a uniform rotational movement results in the illustrated sinusoidal curve of the projected position 20 .
  • a sensor signal 21 of the sensor 10 is reproduced as a dotted line.
  • the sensor signal 21 shows an approximately rectangular course, with a maximum being present in the curve maximum or minimum of the projected position 20 .
  • the sensor 10 emits approximately square-wave pulses when one of the two ends of the spray arm 5 is at a specific rotational position.
  • the method according to the application now provides for camera recordings to be made by the camera 8 synchronously with the progression of the sensor signal 21 .
  • a camera recording can be made at certain predefined phases of the sensor signal 21 .
  • the camera recording is controlled in such a way that an image is recorded between two maxima of the curve of the sensor signal 21 in each case.
  • the light source 9 is first switched on shortly before the camera recording, which is indicated by a corresponding light control signal 22 in the figure 2 is shown. In this case, the light source 9 is switched on at the maximum of the light control signal 22 .
  • a camera control signal 23 instructs the camera 8 to take an image. After the image has been recorded, the light source 9 can be switched off again until the next camera recording is made. In alternative configurations of the method, it can be provided that the light source 9 is left switched on permanently during the method.
  • FIG 3 shows in a comparable way as that Figures 1a and 1b a sectional view of a further dishwasher for carrying out a further method according to the application.
  • wash baskets 4 (not shown in detail here) are arranged in a washing compartment 3 that is surrounded by a body 1 and a door 2 .
  • a rotatable spray arm 5 is assigned to each of the wash baskets 4 , a spray arm 5 only being shown for the top of the two wash baskets 4 for the sake of simplicity.
  • the spray arm 5 is in turn coupled to a sensor 10 for detecting the position of the spray arm 5 .
  • the sensor 10 can as in the example Figures 1a , b be a magnetic sensor fixed relative to the body 1, with one or more magnets being arranged around the spray arm 5.
  • a Hall sensor for example, can be used as the magnetic sensor.
  • a camera 8 is arranged in the door 2 in order to record images of the washing compartment 3 . It is also like the example of the Figures 1a , b a light source 9 is present in order to illuminate the washing compartment 3, among other things, while the camera 8 is recording.
  • a rotary movement of the spray arm 5 is blocked by items to be washed 11, here a ladle, for example.
  • Such a blockage leads to an unsatisfactory washing result since the washing liquor is not optimally distributed in the washing compartment 3 .
  • the combination of camera 8 and sensor 10 according to the application can advantageously be used to indicate such a blockage to a user of the dishwasher in such a way that he can eliminate it quickly and easily.
  • a blockage is initially detected, which can be done by evaluating the signal from the sensor 10 .
  • an image of the washing compartment 3 is then recorded by the camera 8, with the light source 9 being activated.
  • FIG figure 4 An example of a camera image 31 is shown in FIG figure 4 played back.
  • a blockage of the spray arm 5 by the items to be washed 11 can be localized well in this representation.
  • a frame 32 can be automatically superimposed to highlight the area of interest.
  • the camera image 31 is sent via the control device 6 of the dishwasher to a mobile device 30 which is coupled to the control device 6 .
  • This coupling can take place via a shared network and wireless access to this network, for example WLAN access, take place.
  • a direct coupling between the control device 6 and the mobile device 30, for example via a Bluetooth connection, is also conceivable.
  • figure 5 shows an example of a mobile phone as a mobile device 30 with a program ("App"), which is used to notify the user.
  • the camera image 31 is reproduced in the program, possibly with the frame 32, in order to inform the user about the state inside the washing compartment 3.
  • Textual or symbolic messages can be reproduced in information 33 that is also displayed, for example information about the blocking of the spray arm 5 can be displayed.
  • operating elements can also be displayed, via which the further progress of the dishwashing program can be controlled. For example, provision can be made for the washing program to be terminated immediately or, for example due to a lack of access, to continue the washing program despite the blockage.
  • help functions can be called up that provide information about a possible cause and ways to remedy the spray arm blockage.
  • Provision can also be made for the image to be shared via known (social) networks, for example in order to send it to a family member who is in the vicinity of the dishwasher and who could be instructed to unblock it.

Landscapes

  • Washing And Drying Of Tableware (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, wobei die Geschirrspülmaschine der Reinigung von Spülgut in einem Spülraum dient und eine Bilderfassungseinrichtung zur Aufnahme von Bildern des Spülraums aufweist. Die Erfindung betrifft weiterhin eine derartige Geschirrspülmaschine.
  • Es ist bekannt, Geschirrspülmaschinen mit Bilderfassungseinrichtungen auszustatten, beispielsweise einer Kamera, die Bilder aus dem Spülraum liefert.
  • Gemäß der Druckschrift DE 100 48 081 A1 wird ein vor oder während eines laufenden Reinigungsprogramms erstelltes Kamerabild ausgewertet, um einen Verschmutzungsgrad des Spülguts festzustellen. Abhängig von dem Verschmutzungsgrad kann rechnergesteuert ein auf den Verschmutzungsgrad optimiertes Spülprogramm eingestellt werden, bzw. ein eingestelltes Spülprogramm im Hinblick auf den Verschmutzungsgrad optimiert werden. Neben der Bestimmung des Verschmutzungsgrads ist auch eine Erkennung des Beladungszustands anhand der aufgenommenen Bilder möglich und wird bei der Einstellung bzw. Optimierung des Spülprogramms berücksichtigt.
  • Aus der Druckschrift EP 1 793 723 B1 ist ebenfalls bekannt, einen Beladungszustand der Geschirrspülmaschine anhand einer Bilderfassungseinrichtung zu ermitteln. Der Auswertung liegt ein dreidimensionales Bild zugrunde, das mit Hilfe eines Bilderfassungssystems erstellt ist, das Laufzeiten des Lichts berücksichtigt.
  • Die EP 3 427 630 A1 offenbart eine Geschirrspülmaschine mit einer Bilderfassungseinrichtung, mittels der überwacht wird, ob sich bestimmte Teile der Geschirrspülmaschine, wie etwa der Sprüharm, oder aber Spülgut bewegt. Dies erfolgt jeweils durch Vergleich eines während des Spülvorgangs aufgenommenen Bildes mit einem vor dem Spülvorgang aufgenommenen Bild.
  • Aus der Druckschrift DE 10 2015 102 694 A1 ist ein Verfahren bekannt, bei dem aus einer Auswertung von Videoaufnahmen der Kamera aus dem Spülraum eine Drehzahl eines oder mehrerer auf dem Kamerabild sichtbarer Sprüharme ermittelt wird.
  • Abgesehen von diesem Anwendungsfall ist der Sprüharm in der Regel jedoch im Kamerabild aus dem Spülraum einer Geschirrspülmaschine störend. Es hat sich gezeigt, dass Kameraaufnahmen besonders verschwommen wirken, wenn der Sprüharm in Betrieb ist und im Augenblick der Bildaufnahme nah an der Linse der Kamera steht.
  • Es ist eine Aufgabe der vorliegenden Erfindung, mittels einer im Spülraum angeordneten Kamera eine möglichst gute Abbildung des Spülraums für eine weitere Auswertung zu erzielen.
  • Diese Aufgabe wird gelöst durch ein Verfahren zum Betreiben einer Geschirrspülmaschine und durch eine zur Durchführung des Verfahrens eingerichtete Geschirrspülmaschine mit den Merkmalen des jeweiligen unabhängigen Anspruchs. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
  • Ein erfindungsgemäßes Verfahren der eingangs genannten Art umfasst die folgenden Schritte: Es wird ein Signals eines Sensors ausgewertet, der mit einem Sprüharm der Geschirrspülmaschine gekoppelt ist, wobei das Signal eine Drehung des Sprüharms widerspiegelt. Dann wird ein Bild des Spülraums durch die Bilderfassungseinrichtung abhängig von dem ausgewerteten Signal aufgezeichnet.
  • Das Signal des Sensors wird also genutzt, um die Bilderfassungseinrichtung, z.B. eine Kamera, zu einem optimalen Zeitpunkt anzuweisen, eine Bildaufnahme vom Spülraum zu erstellen.
  • Erfindungsgemäß ist vorgesehen, das Bild bei einem bestimmten Drehwinkel des Sprüharms aufzunehmen. Kameraaufnahmen erfolgen durch diese Synchronisation nur, wenn sich der Sprüharm in bestimmten Drehpositionen befindet, in denen er das Kamerabild möglichst wenig beeinträchtigt. Details aus dem Spülraum werden auf diese Weise besser sichtbar und eine Auswertung, z.B. zur Bestimmung einer Beladung der Geschirrspülmaschine oder eines Verschmutzungsgrads des Spülguts, kann zuverlässiger automatisiert durchgeführt werden.
  • In einer weiteren Ausgestaltung des Verfahrens ist vorgesehen, das Bild aufzunehmen, wenn das Signal anzeigt, dass sich der Sprüharm nicht dreht, wenn also über den Sensor eine Blockierung des Sprüharms detektiert wird. Eine derartige Blockierung führt zu einem unzureichenden Spülergebnis, da die Spülflotte nicht optimal im Spülraum verteilt wird. Das aufgenommene Bild visualisiert die Ursache der Blockierung. Die anmeldungsgemäße Kombination von Bilderfassungseinrichtung und Sensor kann vorteilhaft eingesetzt werden, um eine derartige Blockierung einem Nutzer der Geschirrspülmaschine so aufzuzeigen, dass er sie schnell und problemlos beheben kann.
  • Es kann dabei vorgesehen sein, eine Datennachricht von der Steuereinrichtung der Geschirrspülmaschine an ein Mobilgerät zu senden, wenn das Signal anzeigt, dass sich der Sprüharm nicht dreht. Mit der Datennachricht kann das aufgenommene Bild oder zumindest ein Ausschnitt daraus an das Mobilgerät übertragen werden, um es dem Nutzer präsentieren zu können und so Details der Blockierung aufzuzeigen.
  • Weiter kann vorgesehen sein, eine Steueranweisung von dem Mobilgerät an die Steuereinrichtung zu übertragen, wobei die Steueranweisung ein Fortführen oder ein Stoppen eines Spülprogramms betrifft. So kann der Nutzer entscheiden, wie er weiter verfahren möchte.
  • Eine erfindungsgemäße Geschirrspülmaschine zeichnet sich dadurch aus, dass sie neben der Bilderfassungseinrichtung, die z.B. als Kamera ausgebildet sein kann, zusätzlich einen Sensor aufweist, mit dem eine Drehung eines Sprüharms erfasst werden kann, wobei der Sensor zur Auswertung mit der Steuereinrichtung verbunden ist und wobei die Steuereinrichtung dazu eingerichtet ist, die Bilderfasssungseinrichtung abhängig von einem Signal des Sensors anzusteuern. Es ergeben sich die im Zusammenhang mit dem Verfahren angegebenen Vorteile.
  • Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mithilfe von Figuren näher erläutert. Die Figuren zeigen:
    • Figuren 1a, b
    jeweils eine schematische Schnittdarstellung einer Geschirrspülmaschine bei unterschiedlichen Stellungen eines Sprüharms:
    Figur 2
    ein Zeitverlauf verschiedener Parameter und Signale während der Durchführung eines anmeldungsgemäßen Verfahrens;
    Figur 3
    eine weitere schematische Darstellung einer Geschirrspülmaschine;
    Figur 4
    eine Wiedergabe eines Bildes aus einem Spülraum einer Geschirrspülmaschine; und
    Figur 5
    eine Darstellung eines Mobilgeräts während der Durchführung eines anmeldungsgemäßen Verfahrens.
  • Die Figuren 1a und b zeigen jeweils schematisch eine Geschirrspülmaschine in einem vertikal ausgeführten Schnittbild.
  • Die Geschirrspülmaschine, bei der es sich um ein Haushaltsgerät ebenso wie eine Maschine für den professionellen Gebrauch handeln kann, weist einen Korpus 1 mit einer Tür 2 auf, die einen Spülraum 3 umgeben. Innerhalb des Spülraums 3 sind in der Regel mehrere, hier beispielhaft zwei Spülgutkörbe 4 übereinander angeordnet. Darüber hinaus ist ein in der Figur 1 nicht näher bezeichneter Besteckträger vorhanden. In den Spülgutkörben 4 kann verschiedenes Spülgut einsortiert werden. In alternativen Ausgestaltungen der Geschirrspülmaschine kann anstelle oder zusätzlich zum Besteckträger ein Besteckkorb in einem der Spülgutkörbe 4 vorhanden sein.
  • Den Spülgutkörben 4 ist jeweils ein Sprüharm zugeordnet, der im Spülbetrieb rotiert und Spülflüssigkeit auf das Spülgut sprüht. In den Figuren ist jeweils nur ein dem oberen Spülgutkorb 4 zugeordneter Sprüharm 5 eingezeichnet. Die beiden Figuren 1a und b zeigen den Sprüharm 5 in zwei unterschiedlichen, in einem Winkel von 90° zueinander stehenden Drehstellungen.
  • In einem unteren Bereich (Sockelbereich) der Geschirrspülmaschine sammelt sich die Spülflüssigkeit in einem Spülsumpf, auch Spülflottentopf genannt, in dem sie aufgeheizt werden kann und zu den Sprüharmen 5 gepumpt werden kann. Der Spülsumpf und Komponenten zum Umwälzen der Spülflüssigkeit sind in der schematischen Zeichnung der Figur 1 nicht wiedergegeben.
  • Eine Steuereinrichtung 6 zur Steuerung der Geschirrspülmaschine ist in der Tür 2 der Geschirrspülmaschine angeordnet. Die Steuereinrichtung 6 ist als eine Ablaufsteuerung basierend auf einem Mikrokontroller bzw. -prozessor ausgebildet. In der Tür 2 ist weiter eine Dosiereinheit 7 angeordnet, mit der benötigte Reinigungsmittel während eines Spülvorgangs automatisch in den Spülraum 3 eindosiert werden können.
  • Beim dargestellten Ausführungsbeispiel ist in die Dosiereinheit 7 eine Kamera 8 als Bilderfassungseinrichtung integriert, die in den Spülraum 3 gerichtet ist, um ein Bild von dem Spülraum 3 aufzunehmen. Weiter ist im Spülraum 3 eine Lichtquelle 9 angeordnet, die bedarfsweise zugeschaltet werden kann, wenn von der Kamera 8 ein Bild des Spülraums 3 aufgenommen wird. Alternativ oder zusätzlich kann auch im Bereich der Kamera 8 selbst eine Lichtquelle angeordnet sein, die beispielsweise ringförmig um ein Objektiv der Kamera 8 ausgebildet ist. Die Kamera 8 ist eine zweidimensional aufzeichnende Kamera. Alternativ kann auch eine dreidimensional aufzeichnende Kamera eingesetzt werden, beispielsweise eine TOF (time of flight)-Kamera, die Lichtlaufzeiten berücksichtigt. Auch eine stereoskopisch aufzeichnende Anordnung von zwei Kameras gilt im Rahmen der Anmeldung als eine Bilderfassungseinrichtung.
  • Im gezeigten Ausführungsbeispiel ist lediglich eine Kamera 8 vorhanden, die im Wesentlichen das in dem unteren Spülgutkorb 4 einsortierte Spülgut erfasst. Es kann eine weitere Kamera vorhanden sein, die z.B. oberhalb der dargestellten Kamera 8 angeordnet ist und auf das in den oberen Spülgutkorb 4 einsortierte Spülgut gerichtet ist. Im dargestellten Ausführungsbeispiel ist die Aufnahmerichtung (optische Achse) der Kamera 8 horizontal ausgerichtet. Es sind andere Ausrichtungen der Kamera 8 denkbar. Für eine dem oberen Spülgutkorb 4 zugeordnete Kamera kann es beispielsweise sinnvoll sein, die Kamera so auszurichten, dass sie schräg von unten auf den oberen Spülgutkorb 4 blickt, da häufig Tassen oder Gefäße in den oberen Spülgutkorb 4 einsortiert werden, deren verschmutzte Fläche nach unten weist.
  • Der Sprüharm 5 ist mit einem Sensor 10 zur Erfassung der Position des Sprüharms 5 gekoppelt. Der Sensor 10 kann z.B. ein relativ zum Korpus 1 festliegender Magnetsensor sein, wobei am Sprüharm 5 einer oder mehrere Magnete angeordnet sind. Als Magnetsensor kann beispielsweise ein Hall-Sensor eingesetzt werden.
  • Figur 2 zeigt in einem Zeitverlauf verschiedene Parameter und Signale während der Durchführung eines anmeldungsgemäßen Verfahrens. Auf einer horizontalen Achse ist eine fortlaufende Zeit t dargestellt. Auf einer vertikalen Achse sind die Zeitverläufe verschiedener Parameter dargestellt.
  • Konkret ist in einer strichpunktierten Kurve eine projizierte Position 20 eines Sprüharms, beispielsweise des Sprüharms 5 gemäß den Figuren 1a und 1b, wiedergegeben. Projiziert bedeutet in dem Fall auf eine Raumrichtung projiziert, sodass eine gleichmäßige Drehbewegung zu der dargestellten sinusförmig verlaufenden Kurve der projizierten Position 20 wird.
  • Als punktierte Linie ist ein Sensorsignal 21 des Sensors 10 wiedergegeben. Das Sensorsignal 21 zeigt einen annähernd rechteckförmigen Verlauf, wobei ein Maximum jeweils im Kurvenmaxi- bzw. -minimum der projizierten Position 20 vorliegt. Der Sensor 10 gibt annähernd rechteckförmige Impulse aus, wenn sich eines der beiden Enden des Sprüharms 5 an einer bestimmten Drehposition befindet.
  • Das anmeldungsgemäße Verfahren sieht nun vor, Kameraaufnahmen der Kamera 8 synchron zum Verlauf des Sensorsignals 21 vorzunehmen. Je nach Stellung des Sensors 10 gegenüber der Kamera 8 kann dabei eine Kameraaufnahme zu bestimmten vorgegebenen Phasen des Sensorsignals 21 erfolgen. Im vorliegenden Fall wird die Kameraaufnahme so angesteuert, dass ein Bild jeweils zwischen zwei Maxima der Kurve des Sensorsignals 21 aufgenommen wird. Zu dem Zweck wird zunächst kurz vor der Kameraaufnahme die Lichtquelle 9 eingeschaltet, was durch ein entsprechendes Lichtsteuersignal 22 in der Figur 2 dargestellt ist. Die Lichtquelle 9 ist dabei im Maximum des Lichtsteuersignals 22 eingeschaltet. Etwa mittig in dem Zeitbereich, in dem die Lichtquelle 9 eingeschaltet ist, weist ein Kamerasteuersignal 23 die Kamera 8 an, eine Bildaufnahme vorzunehmen. Nach erfolgter Bildaufnahme kann die Lichtquelle 9 wieder abgeschaltet werden, bis eine nächste Kameraaufnahme erfolgt. In alternativen Ausgestaltungen des Verfahrens kann vorgesehen sein, die Lichtquelle 9 permanent während des Verfahrens eingeschaltet zu lassen.
  • Kameraaufnahmen erfolgen durch diese Synchronisation nur, wenn sich der Sprüharm 5 in bestimmten Drehpositionen befindet, in denen er das Kamerabild möglichst wenig beeinträchtigt. Details aus dem Spülraum 3 werden auf diese Weise besser sichtbar und eine Auswertung, z.B. zur Bestimmung einer Beladung der Geschirrspülmaschine oder eines Verschmutzungsgrads des Spülguts, kann zuverlässiger automatisiert durchgeführt werden.
  • Figur 3 zeigt in vergleichbarer Weise wie die Figuren 1a und 1b eine Schnittdarstellung einer weiteren Geschirrspülmaschine zur Durchführung eines weiteren anmeldungsgemäßen Verfahrens. Wiederum sind hier nicht im Detail dargestellte Spülgutkörbe 4 in einem Spülraum 3, der von einem Korpus 1 und einer Tür 2 umgeben ist, angeordnet. Den Spülgutkörben 4 ist jeweils ein drehbarer Sprüharm 5 zugeordnet, wobei der einfacheren Darstellung halber nur zum oberen der beiden Spülgutkörbe 4 ein Sprüharm 5 dargestellt ist. Der Sprüharm 5 ist wiederum mit einem Sensor 10 zur Erfassung der Position des Sprüharms 5 gekoppelt. Der Sensor 10 kann wie beim Beispiel der Figuren 1a, b ein relativ zum Korpus 1 festliegender Magnetsensor sein, wobei um Sprüharm 5 einer oder mehrere Magnete angeordnet sind. Als Magnetsensor kann beispielsweise ein Hall-Sensor eingesetzt werden.
  • Weiterhin ist in der Tür 2 eine Kamera 8 angeordnet, um Bilder vom Spülraum 3 aufzuzeichnen. Es ist ebenfalls wie beim Beispiel der Figuren 1a, b eine Lichtquelle 9 vorhanden, um den Spülraum 3 unter anderem während der Aufnahmen der Kamera 8 auszuleuchten.
  • Wie in der Figur 3 dargestellt ist, ist eine Drehbewegung des Sprüharms 5 durch Spülgut 11, hier beispielhaft eine Suppenkelle, blockiert.
  • Eine derartige Blockierung führt zu einem unzureichenden Spülergebnis, da die Spülflotte nicht optimal im Spülraum 3 verteilt wird. Die anmeldungsgemäße Kombination von Kamera 8 und Sensor 10 kann vorteilhaft eingesetzt werden, um eine derartige Blockierung einem Nutzer der Geschirrspülmaschine so aufzuzeigen, dass er sie schnell und problemlos beheben kann.
  • Zu diesem Zweck ist vorgesehen, eine Blockierung zunächst zu detektieren, was durch eine Auswertung des Signals des Sensors 10 erfolgen kann. Sodann wird abhängig von der Detektion ein Bild vom Spülraum 3 durch die Kamera 8 aufgezeichnet, wobei die Lichtquelle 9 aktiviert wird.
  • Ein Beispiel eines Kamerabilds 31 ist in der Figur 4 wiedergegeben. Eine Blockierung des Sprüharms 5 durch das Spülgut 11 ist in dieser Darstellung gut lokalisierbar. Um den interessierenden Bereich hervorzuheben, kann automatisch ein Rahmen 32 eingeblendet werden. Um den Nutzer der Geschirrspülmaschine auf die vorliegende Blockierung hinzuweisen und ihm die Problemstelle zu visualisieren, kann vorgesehen sein, das Kamerabild 31 über die Steuereinrichtung 6 der Geschirrspülmaschine an ein Mobilgerät 30 zu versenden, das mit der Steuereinrichtung 6 gekoppelt ist. Diese Kopplung kann über gemeinsam genutztes Netzwerk und einen drahtlosen Zugang zu diesem Netzwerk, beispielsweise einen WLAN-Zugang, erfolgen. Auch eine unmittelbare Kopplung zwischen der Steuereinrichtung 6 und dem Mobilgerät 30, beispielsweise über eine Bluetooth-Verbindung, ist denkbar.
  • Figur 5 zeigt beispielhaft ein Mobiltelefon als Mobilgerät 30 mit einem Programm ("App"), das der Benachrichtigung des Nutzers dient. In dem Programm wird das Kamerabild 31 wiedergegeben, ggf. mit dem Rahmen 32, um den Nutzer über den Zustand innerhalb des Spülraums 3 zu informieren. In darüber hinaus eingeblendeten Informationen 33 können textliche oder symbolhafte Nachrichten wiedergegeben werden, beispielsweise über die Blockierung des Sprüharms 5 informiert werden.
  • Weiter kann vorgesehen sein, dass nach erfolgter Aufhebung der Blockierung des Sprüharms 5 ein weiteres Kamerabild 31 an das Mobilgerät 30 übertragen wird, um den Nutzer den weiteren nunmehr fehlerfreien Fortschritt des Spülprogramms anzuzeigen.
  • Neben den genannten Informationen 33 auf dem Mobilgerät 30 können auch Bedienelemente eingeblendet werden, über die der weitere Fortgang des Spülprogramms gesteuert werden kann. Beispielsweise kann vorgesehen sein, das Spülprogramm unverzüglich abzubrechen oder, beispielsweise mangels Zugriffsmöglichkeit, das Spülprogramm trotz der Blockierung weiter fortzusetzen. Außerdem können Hilfefunktionen aufgerufen werden, die über eine mögliche Ursache und Wege zur Behebung der SprüharmBlockierung informieren. Weiter kann vorgesehen sein, das Bild über bekannte (soziale-) Netzwerke zu teilen, um es beispielsweise einem Familienangehörigen zu schicken, der sich in der Nähe der Geschirrspülmaschine befindet und angewiesen werden könnte, die Blockierung aufzuheben.
    • Bezugszeichen
    • 1
    Korpus
    2
    Tür
    3
    Spülraum
    4
    Spülgutkorb
    5
    Sprüharm
    6
    Steuereinrichtung
    7
    Dosiereinheit
    8
    Kamera
    9
    Lichtquelle
    10
    Sensor
    11
    Spülgut
    20
    projizierte Position des Sprüharms
    21
    Drehsignal
    22
    Lichtsteuersignal
    23
    Kamerasteuersignal
    30
    Mobilgerät
    31
    Kamerabild
    32
    Rahmen
    33
    Information

Claims (7)

  1. Verfahren zum Betreiben einer Geschirrspülmaschine zur Reinigung von Spülgut (11) in einem Spülraum (3), wobei die Geschirrspülmaschine eine Bilderfassungseinrichtung zur Aufnahme von Bildern des Spülraums (3) aufweist, mit den folgenden Schritten:
    - Auswerten eines Signals (21) eines Sensors (10), der mit einem Sprüharm (5) der Geschirrspülmaschine gekoppelt ist, wobei das Signal (21) eine Drehung des Sprüharms (5) widerspiegelt;
    - Aufnehmen eines Bildes des Spülraums (3) durch die Bilderfassungseinrichtung,
    dadurch gekennzeichnet,
    dass der Zeitpunkt der Aufnahme des Bildes abhängig von dem ausgewerteten Signal (21) gewählt wird, so dass das Bild bei einem bestimmten Drehwinkel des Sprüharms (5) aufgenommen wird.
  2. Verfahren nach Anspruch 1, bei dem ein Bild aufgenommen wird, wenn das Signal (21) anzeigt, dass sich der Sprüharm (5) nicht dreht.
  3. Verfahren nach einem der Ansprüche 1 oder 2, bei dem zur Bildaufnahme eine Lichtquelle (9) im Spülraum (3) aktiviert wird.
  4. Verfahren nach Anspruch 2 oder 3, bei dem eine Datennachricht von der Steuereinrichtung (6) der Geschirrspülmaschine an ein Mobilgerät (30) gesendet wird, wenn das Signal (21) anzeigt, dass sich der Sprüharm (5) nicht dreht.
  5. Verfahren nach Anspruch 4, bei dem mit der Datennachricht das aufgenommene Bild an das Mobilgerät oder zumindest ein Ausschnitt daraus übertragen wird.
  6. Verfahren nach Anspruch 4 oder 5, bei dem eine Steueranweisung von dem Mobilgerät an die Steuereinrichtung übertragen wird, wobei die Steueranweisung ein Fortführen oder ein Stoppen eines Spülprogramms betrifft.
  7. Geschirrspülmaschine zur Reinigung von Spülgut (10) in einem Spülraum (3), wobei die Geschirrspülmaschine eine Bilderfassungseinrichtung zur Aufnahme von Bildern des Spülraums (3) aufweist und eine Steuereinrichtung (6) zur Ansteuerung der Bilderfasssungseinrichtung,
    dadurch gekennzeichnet, dass die Geschirrspülmaschine zusätzlich einen Sensor (10) aufweist, mit dem eine Drehung eines Sprüharms (5) erfasst werden kann, wobei der Sensor (10) zur Auswertung mit der Steuereinrichtung (6) verbunden ist und wobei die Steuereinrichtung (6) dazu eingerichtet ist, die Bilderfasssungseinrichtung abhängig von einem Signal des Sensors (10) anzusteuern, und den Zeitpunkt der Aufnahme des Bildes abhängig von dem ausgewerteten Signal (21) so zu wählen, dass das Bild bei einem bestimmten Drehwinkel des Sprüharms (5) aufgenommen wird.
EP20173603.0A 2019-05-21 2020-05-08 Geschirrspülmaschine mit einer bilderfassungseinrichtung und verfahren zum betreiben einer derartigen geschirrspülmaschine Active EP3741284B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019113414.5A DE102019113414A1 (de) 2019-05-21 2019-05-21 Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine

Publications (2)

Publication Number Publication Date
EP3741284A1 EP3741284A1 (de) 2020-11-25
EP3741284B1 true EP3741284B1 (de) 2023-04-26

Family

ID=70680200

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20173603.0A Active EP3741284B1 (de) 2019-05-21 2020-05-08 Geschirrspülmaschine mit einer bilderfassungseinrichtung und verfahren zum betreiben einer derartigen geschirrspülmaschine

Country Status (2)

Country Link
EP (1) EP3741284B1 (de)
DE (1) DE102019113414A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112773291B (zh) * 2021-01-07 2022-04-26 佛山市顺德区美的洗涤电器制造有限公司 用于洗碗机的控制方法、处理器、控制装置和洗碗机
CN112806932B (zh) * 2021-01-07 2022-02-01 佛山市顺德区美的洗涤电器制造有限公司 用于洗碗机的方法、控制装置、处理器及洗碗机
BE1029621B1 (de) * 2021-07-23 2023-02-20 Miele & Cie Verfahren und Steuereinheit zum Erkennen einer verstopften Düse für ein Reinigungsgerät und Reinigungsgerät

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10048081A1 (de) * 2000-09-28 2002-04-18 Miele & Cie Verfahren zur Erkennung der Spülgutbeladung und/oder des Verschmutzungsgrades von Spülgut in einer programmgesteuerten Geschirrspülmaschine und Geschirrspülmaschine dafür
DE102004035847A1 (de) * 2004-07-23 2006-03-23 BSH Bosch und Siemens Hausgeräte GmbH Verfahren zur Erkennung der Spülgutbeladung und Geschirrspülmaschine
DE102005046803B4 (de) * 2005-09-30 2008-04-03 Electrolux Home Products Corporation N.V. Geschirrspülmaschine mit Sprüharm
DE102014215660A1 (de) * 2014-07-17 2016-01-21 BSH Hausgeräte GmbH Geschirrspülmaschine, insbesondere Haushaltsgeschirrspülmaschine mit einem drehbar gelagerten optischen Erfassungsmittel
DE102015102694A1 (de) * 2015-02-25 2016-08-25 Miele & Cie. Kg Verfahren zur Ermittlung der Drehzahl eines Sprüharms einer Geschirrspülmaschine
IT201700078567A1 (it) * 2017-07-13 2019-01-13 Candy Spa Metodo per valutare automaticamente lo spostamento di un oggetto all’interno di una zona di lavaggio di una macchina lavastoviglie.

Also Published As

Publication number Publication date
DE102019113414A1 (de) 2020-11-26
EP3741284A1 (de) 2020-11-25

Similar Documents

Publication Publication Date Title
EP3741284B1 (de) Geschirrspülmaschine mit einer bilderfassungseinrichtung und verfahren zum betreiben einer derartigen geschirrspülmaschine
EP3752038B1 (de) Verfahren zum betreiben einer haushaltsgeschirrspülmaschine, haushaltsgeschirrspülmaschine und system
EP3654816B1 (de) Haushaltsgeschirrspülmaschine, system mit haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
EP1793723B1 (de) Verfahren zur erkennung der spülgutbeladung und geschirrspülmaschine
DE102015102694A1 (de) Verfahren zur Ermittlung der Drehzahl eines Sprüharms einer Geschirrspülmaschine
DE10048081A1 (de) Verfahren zur Erkennung der Spülgutbeladung und/oder des Verschmutzungsgrades von Spülgut in einer programmgesteuerten Geschirrspülmaschine und Geschirrspülmaschine dafür
EP3169214B1 (de) Geschirrspülmaschine, insbesondere haushaltsgeschirrspülmaschine mit einem drehbar gelagerten optischen erfassungsmittel
EP2434936B1 (de) Geschirrspülmaschine
DE102013100689B4 (de) Geschirrspüler mit schwenksystem für den spülgutkorb
WO2019015996A1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
CN109247886A (zh) 用于自动评估洗碗机的洗涤区域中物体的位移的方法
DE102016106430A1 (de) Geschirrspülmaschine
DE102011053290A1 (de) Haushaltsgerät mit Benutzerschnittstelle im Griff
DE102019100190A1 (de) Haushaltsgerät, insbesondere Geschirrspülmaschine
DE102020112205A1 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
DE102019110795A1 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
DE102020123416A1 (de) Verfahren zum Reinigen von Spülgut in einer Geschirrspülmaschine und Geschirrspülmaschine
DE102020117383A1 (de) Geschirrspülmaschine, insbesondere Haushaltsgeschirrspülmaschine
DE102018103888B3 (de) Spülmaschine mit Beladungserkennung
EP4175526A1 (de) System mit einer geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
EP3932282A1 (de) Spülgerät mit bilderfassungseinrichtung
DE102019003958A1 (de) Spülmaschinensystem und Verfahren zum Ermitteln einer Spülgutbeladung einer Spülmaschine
BE1029848B1 (de) Abdeckeinheit zum Abdecken einer Kamera eines Haushaltsgeräts, Haushaltsgerät, Verfahren zum lösbaren Koppeln einer Abdeckeinheit und Verfahren zum Erfassen einer gekoppelten Abdeckeinheit
DE102021134309A1 (de) Verfahren zum Erkennen einer Blockade in einem Spülgerät, Vorrichtung und Spülgerät
DE102020207536A1 (de) System mit einer Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210525

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230126

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

REG Reference to a national code

Ref country code: DE

Ref legal event code: R084

Ref document number: 502020003060

Country of ref document: DE

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020003060

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1562247

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230515

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: GB

Ref legal event code: 746

Effective date: 20230516

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230531

Year of fee payment: 4

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230426

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230828

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230826

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502020003060

Country of ref document: DE

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20230531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230508

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230531

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230531

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20240129

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230426

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230531

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240521

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240531

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240527

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20240426

Year of fee payment: 5