EP3942232A1 - Speichern von mittels eines haushaltsgeräts aufgenommenen bildern - Google Patents

Speichern von mittels eines haushaltsgeräts aufgenommenen bildern

Info

Publication number
EP3942232A1
EP3942232A1 EP20711909.0A EP20711909A EP3942232A1 EP 3942232 A1 EP3942232 A1 EP 3942232A1 EP 20711909 A EP20711909 A EP 20711909A EP 3942232 A1 EP3942232 A1 EP 3942232A1
Authority
EP
European Patent Office
Prior art keywords
images
image
evaluation number
evaluation
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20711909.0A
Other languages
English (en)
French (fr)
Other versions
EP3942232B1 (de
Inventor
Hans-Jürgen Bauer
Mike Karl
Bernhard Koch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3942232A1 publication Critical patent/EP3942232A1/de
Application granted granted Critical
Publication of EP3942232B1 publication Critical patent/EP3942232B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H05B6/6447—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/14—Arrangements for detecting or measuring specific parameters
    • D06F34/18—Condition of the laundry, e.g. nature or weight

Definitions

  • the invention relates to a method for storing images recorded by means of a camera of a household appliance in chronological order during an operating sequence, in which images are stored together in a data memory of the household appliance with a predetermined number of storage locations for the images.
  • the invention also relates to a method in which images stored in a data memory are played back chronologically, sequentially.
  • the invention also relates to a household appliance, having a treatment room, at least one camera directed into the treatment room and a data processing device for carrying out the method.
  • the invention is particularly advantageously applicable to the storage of images recorded during a cooking process from a cooking space of a cooking appliance, in particular an oven.
  • ovens that are equipped with a camera to monitor their oven or cooking space.
  • the camera can be used to record image sequences of the food to be cooked in the cooking space, for example in order to be able to observe and evaluate the progress of browning during a cooking process.
  • the object is achieved by a method for storing images ("image sequence") recorded by means of a camera of a household appliance in a chronological sequence during an operating sequence, in which
  • Images are stored together with a time stamp and a rating number in a data memory with a predetermined number of storage locations for the images, and then
  • step b) if all storage spaces are occupied with images, from the images stored in the data memory, those images are deleted whose evaluation number does not reach a predetermined threshold value, and the process branches back to step a),
  • evaluation number of an image represents a measure of a visual difference to a previously recorded image.
  • This method has the advantage that the possibility is provided of storing images of an image sequence with image content relevant for household appliances with limited (“predetermined”) storage space for a practically unlimited duration, thus achieving a practically unlimited recording time.
  • predetermined limited
  • the memory space freed up in this way is filled with newly recorded images until it is exhausted again. Images are then deleted again which (according to the new, typically higher threshold value) do not differ greatly from one another in terms of time, etc.
  • images remain that belong to an increasingly longer image sequence, with the image Differences between consecutive remaining images typically get bigger and bigger.
  • Another advantage is that the method can be implemented easily, in particular by means of an integrated circuit with low computing power such as a microcontroller, an FPGA, an ASIC, etc.
  • the images recorded by the camera can in particular be recorded by means of a fixed, predetermined frame rate.
  • the sequence of images recorded by the camera can be viewed as a "video stream”.
  • the sequence of images stored in the data memory can also be viewed as a video stream, but then the associated time intervals between two consecutive images are usually no longer constant, but result from the difference in their time stamps or the time information present in the time stamp.
  • the time stamp can in particular include or represent the time the associated image was taken.
  • the household appliance can be a large household appliance or a small household appliance, in particular in the sense of so-called white goods.
  • the large household appliance can e.g. a laundry care device (such as a washing machine, tumble dryer, washer dryer, etc.) or a kitchen device such as a dishwasher, refrigerator or cooking device (e.g. an oven, hob, microwave, steam treatment device or any combination thereof, etc.) be.
  • the method is used in particular to save the image sequence of the household appliance during an operating sequence of the household appliance, e.g. during a cooking process, a rinsing process, a washing process, etc. of corresponding items such as items to be cooked, laundry, dishes, chilled items, etc.
  • the camera can take pictures a treatment room of the cooking appliance (eg a cooking chamber, a washing drum, a cooling chamber, etc.) to take or be directed into such a treatment room.
  • the camera can, however, also be set up (configured and arranged) to record images of food being cooked on a hob and for this purpose, for example, be integrated into an extractor hood arranged above it.
  • the operating sequence can also be a sequence in which no goods are treated, for example a cleaning sequence, etc.
  • the operating sequence can be an operating program for the household appliance.
  • the method can therefore be, purely by way of example, a method for storing images recorded during a cooking process by means of a camera of a cooking device in chronological
  • the camera can be a black and white camera or - advantageously - a color camera.
  • the camera can alternatively or additionally be an IR camera or it can be sensitive in the IR range.
  • the images recorded by the camera are in particular pixel-like images with basically any resolutions.
  • the time stamp comprises information about the point in time when the associated image was recorded, for example as the absolute point in time of the recording and / or as the relative time since the beginning of the first recording or since the beginning of the method.
  • a time sequence and a time interval between two images can in particular be determined by means of the time stamp.
  • the data memory is in particular a data memory integrated into the household appliance.
  • images are deleted whose evaluation number does not reach a predetermined threshold value can include deleting from the data memory all images whose evaluation number is below the predetermined threshold value.
  • all images can be deleted whose evaluation number reaches but does not exceed the predefined threshold value, this case not being discussed further below.
  • the evaluation number can also be calculated in such a way that it is lower the greater the difference in the image.
  • all images can be deleted whose evaluation number is above the specified threshold value. In other words, be particular all pictures are deleted whose visual difference to a previously recorded picture is not sufficiently great or large.
  • the fact that the evaluation number represents a measure of a visual difference between two images can in particular include that the higher the visual difference, the higher the evaluation number.
  • the visual difference can relate to a shape of objects depicted in the two images and / or to their color. Two images that are identical in shape and color can in particular have the lowest evaluation number, for example zero.
  • step a) After you branched back to step a) after deleting images in step b), previously released memory spaces are filled with newly recorded images in step a) until the memory space is full again, etc.
  • Step b) can also be understood as the application of a “reduction algorithm” for deleting images with the lowest relevance.
  • Images with the lowest relevance or irrelevant images can be understood to mean, in particular, images which have little or no difference to a previous image.
  • the images stored in the data memory can in principle be stored in any order, since their time stamp specifies a clear temporal position or chronological sequence.
  • the images can already be stored in the data memory in chronological order or in chronological order.
  • images with a rating that is too low can be removed from the memory, the remaining images can be pushed together and new images can be appended to the vacant spaces. This means that the images are in the data memory in the chronologically correct order.
  • step b) is carried out repeatedly until the end of the cooking process with an increasing evaluation number. This ensures that images are deleted in step b) in a particularly reliable manner.
  • step b) no images or a sufficient number of images are deleted while the evaluation number remains the same. If the data memory is filled with images in step a), an attempt is first made in step b) to delete images with the rating number last used. If it turns out that no images or an insufficient number of images are deleted, the evaluation number is increased and then step b) is carried out again. Only after step b) has been carried out a second time is a branch back to step a).
  • step b) the evaluation number is increased each time step b) is carried out (at least as long as the evaluation number is not calculated again for all existing images, as will be described in more detail below).
  • step b the evaluation number is increased each time step b) is carried out (at least as long as the evaluation number is not calculated again for all existing images, as will be described in more detail below).
  • an increase in the evaluation number is an incremental increase, that is to say the evaluation number is increased by its smallest increment when it is increased. For example, if the evaluation numbers each have a distance of one from their nearest neighbors, the evaluation number is increased in particular by the value one. In general, however, the increase or step size of the evaluation number can be chosen freely, for example also variably in the course of the method.
  • One embodiment is that in step b) before the deletion, the evaluation numbers of all images whose evaluation number does not reach the threshold value are added to the evaluation number of the temporally closest image whose evaluation number reaches the threshold value.
  • step b) all images with an evaluation number BZ below threshold value 5 are to be deleted, that is, all images with BZ ⁇ 5. This applies to Image_2, Image_3 and Image_4.
  • step b) with the deletion of Image_2, Image_3 and Image_4, their evaluation numbers BZ are added to the next image in time that is not deleted, namely Image_5:
  • the free memory spaces of Image_2, Image_3 and Image_4 can be filled with newly recorded images in a following step a).
  • the evaluation numbers of all images whose evaluation number does not reach the threshold value are added to the evaluation number of the temporally closest image whose evaluation number reaches the threshold value, and
  • step b) all images with an evaluation number BZ below threshold value 5 are to be deleted, that is, all images with BZ ⁇ 5. This initially concerns the images Image_2, Image_3 and Image_4.
  • step b) the evaluation numbers BZ of these images present at the transition to step b) are added to the temporally next image:
  • the free memory spaces of Image_2 and Image_3 can be filled with newly recorded images in a following step a).
  • the evaluation numbers of the images whose evaluation number does not reach the threshold value are added cumulatively in ascending order in time to the next still available image until the cumulatively added evaluation number reaches the threshold value and
  • step b) all images with an evaluation number BZ below threshold value 5 are to be deleted, that is, all images with BZ ⁇ 5.
  • the evaluation numbers of all images that remain or are stored after performing step b) are recalculated. This results in a particularly advantageous retention of meaningful images.
  • the recalculation can in particular be carried out before the branch back to step a).
  • the recalculation of the evaluation numbers in a subsequent step b) is followed by a simple deletion of all images which do not reach the threshold value. This makes use of the fact that, due to the recalculation of the valuation numbers, their subsequent addition does not make sense, at least if the recalculation is carried out every time with step b). However, if the recalculation does not take place in every step b), an addition can be useful for the steps b) carried out in between.
  • the highest evaluation number is assigned to the first image. This has the advantage that the first image always remains in the image sequence and is also defined in terms of its evaluation number.
  • the image values can for example be brightness values, e.g. Grayscale values or color brightness values associated with a respective color channel.
  • the brightness values can e.g. in a range of values [0; 255]. If several image values are assigned to a pixel (for example brightness values for three color channels R, G and B), the mean values determined as a function of the color channel can be averaged again to determine the final evaluation number.
  • the evaluation number BZ for an image with (mn) pixels can consequently be expressed as: with Wp j a value of a channel Kp of a certain pixel with the coordinate (x, y).
  • the invention is not restricted to this and can for example also have more or fewer channels, in particular color channels. In the case of a grayscale image, only one channel can be present, the pixel values then corresponding to the corresponding brightnesses of the pixels.
  • Wpi is a corresponding value for the image saved last before the image (the "image taken before”).
  • the previously recorded image can in particular be understood to mean an image whose time stamp has the next earlier time stamp to the time stamp of imageJ.
  • that image stored in the data memory can be used as a comparison which has the time stamp that is next in time for this purpose.
  • the evaluation number for an image is therefore in particular in the value range of the image values of the individual pixels. It can be rounded, e.g. to a whole value, especially rounded up or down.
  • the evaluation number of an image corresponds to the linear correlation coefficient to the previously recorded image, in particular depending on the color channel.
  • the determination of a linear correlation coefficient for two images is generally known and is therefore no longer described here.
  • the evaluation number of an image corresponds to the difference between Fourier transformed spectral values and the image recorded before, in particular as a function of the color channel.
  • spatial frequencies of two images are compared and evaluated.
  • the quantification of a difference between two spectra, in particular Fourier spectra, is generally known and is therefore not discussed further here.
  • the evaluation number of those images whose evaluation number does not reach the predetermined threshold value is set to zero before deletion and then all images are deleted from the data memory whose evaluation number is zero.
  • the stored images are raw images, that is, in particular, are not compressed. This has the advantage of a particularly reliable and sensitive image comparison. Image processing can then also be dispensed with, which saves computing power.
  • the raw images are in particular full images. In particular, they include the raw data of the recorded images.
  • the images can also be recorded at a low frame rate or stored in the data memory, e.g. at a frame rate of one frame per second or even less, e.g. one image every five, ten, thirty seconds, etc.
  • the use of a low image rate is also advantageous because it allows visual differences between consecutive images to be determined particularly well and the evaluation number is particularly meaningful, especially in the case of gradual changes in a sequence of images.
  • the computing effort can also be kept particularly low in this way.
  • the object is also achieved by a method in which, by means of the method as described above, images stored in a data memory are played back chronologically sequentially (with an ascending time stamp), e.g. in the sense of a video stream.
  • This has the advantage that an image sequence recorded over a very long period of time can be displayed in the manner of a time lapse (Zeitraf ferdar ein), the time intervals (intervals between the time stamps) between the stored images usually being different.
  • a particular advantage is that practically only images are played, the sequence of which is particularly meaningful, since successive images differ comparatively strongly.
  • the image sequence of the stored images is displayed on a screen.
  • a user can advantageously track a result of operating a household appliance. For example, a user would like food to be cooked in one Oven cooks, but does not have time to constantly monitor the cooking progress: the user first loads the food into the oven and then starts a cooking process. Then the user leaves the room for a longer period of time. During the cooking process, images of the cooking space and thus of the food to be cooked are recorded and saved as described above. If the user comes back after his absence, he can track the progress of cooking (e.g. browning progress) by playing the stored images in ascending and thus chronologically correct order (especially in the manner of a time lapse).
  • the progress of cooking e.g. browning progress
  • images stored in the data memory with chronologically consecutive time stamps that have a large difference in their evaluation numbers are not played back directly in a sequence of images or video sequences to be played, but rather separated from one another by one or more calculated intermediate images.
  • the intermediate images calculated automatically by the device are images generated by interpolation from the two images actually recorded. This advantageously enables a smoother visual transition between two very different images.
  • Another use of the stored images is to optically evaluate them on the device side, e.g. for recognizing that a predetermined final degree of browning has been reached, which can be determined, in particular, predictable, for example, from a temporal course of the degree of browning.
  • the household appliance can automatically trigger an action based on the result of the evaluation, for example end a cooking process.
  • Playing back the images stored in the data memory can therefore include displaying the images on a screen and / or evaluating them.
  • the object is also achieved by a household appliance, in particular a cooking device, having a treatment room, in particular a cooking room, at least one camera directed into the treatment room for recording images for the method as described above and a data processing device for performing the method as described above. It is a development that the household appliance has a screen for playing back an image sequence generated according to the above method.
  • FIG. 1 shows, as a sectional illustration in side view, a sketch of an oven which is set up to allow the method according to the invention to run.
  • the oven 1 shows, as a sectional illustration in side view, a sketch of an oven 1 with a cooking chamber 2 in which the food G is accommodated.
  • the oven 1 has a camera 3, in particular a color camera, which is arranged on the ceiling here and which is directed into the cooking space 2 and can record images from above which show the food G to be cooked.
  • the camera 3 is coupled to a data processing device 4 which has a data memory 5.
  • the data processing device 4 is used to process the images recorded by the camera 3, in particular to store them in the data memory 5 as raw images, to calculate an evaluation number and to assign a time stamp to each image.
  • the assignment of the rating number and the time stamp can be done by saving in table form and corresponding links.
  • the images can be generated and / or stored at a comparatively low frame rate, e.g. an image per second can be stored in the data memory 5.
  • the data processing device 4 only has a microcontroller, FPGA, ASIC or the like. for data processing.
  • the data memory 5 is also made small.
  • the data processing device 4 is also connected to a screen 6 of the oven 1, for example a touch-sensitive screen.
  • the data processing device 4 is set up in particular to display the images stored in the data memory 5 in chronological order on the screen 6, for example as a video stream.
  • the data processing device 4 can be used to carry out a method for storing images recorded by the camera 3 in chronological order during an operating sequence.
  • a first image is recorded at the beginning of the method in a step S1 and assigned a highest evaluation number.
  • An associated time stamp is also generated.
  • a further image is then recorded in step S2 and an associated time stamp is generated.
  • step S3 a rating number is calculated and assigned to the further image by means of the data processing device 4, basically based on any one of the calculation methods described above, or in another way.
  • step S4 it is checked whether the data memory 5 will be full or soon full. If not ("N"), a branch is made back to step S2.
  • step S6 these images which do not reach the specified threshold value are deleted from the data memory 5.
  • step S6 these images which do not reach the specified threshold value are deleted from the data memory 5.
  • step S2 A branch is then made back to step S2.
  • the method can be terminated when a certain condition is met, for example a cooking parameter (such as a cooking time, degree of browning, etc.) has reached a specified target value or a user actively ends the process.
  • a cooking parameter such as a cooking time, degree of browning, etc.
  • a number can also include exactly the specified number as well as a customary tolerance range, as long as this is not explicitly excluded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren (S1-S6) dient zum Speichern von mittels einer Kamera (3) eines Haushaltsgeräts (1) in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern (S1, S2), wobei (a) Bilder zusammen mit einem Zeitstempel und einer Bewertungszahl in einem Datenspeicher (5) mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespeichert werden (S2, S3), und dann (b) wenn sämtliche Speicherplätze mit Bildern belegt sind (S4), von den in dem Datenspeicher gespeicherten Bildern diejenigen Bilder gelöscht werden (S6), deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht (S5), und folgend zu Schritt (a) zurückverzweigt wird (S2), wobei die Bewertungszahl eines Bilds ein Maß für einen bildlichen Unterschied zu einem davor aufgenommenen Bild darstellt. Ein Haushaltsgerät weist einen Behandlungsraum (2), mindestens eine in den Behandlungsraum gerichtete Kamera und eine Datenverarbeitungseinrichtung (4) zur Durchführung des Verfahrens (S1-S6) auf. Die Erfindung ist insbesondere anwendbar auf eine Speicherung von während eines Garablaufs aus einem Garraum eines Gargeräts aufgenommenen Bildern.

Description

Speichern von mittels eines Haushaltsgeräts aufgenommenen
Bildern
Die Erfindung betrifft ein Verfahren zum Speichern von mittels einer Kamera eines Haus haltsgeräts in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern, bei dem Bilder zusammen in einem Datenspeicher des Haushaltsgeräts mit einer vorge gebenen Zahl von Speicherplätzen für die Bilder gespeichert werden. Die Erfindung be trifft auch ein Verfahren, bei dem in einem Datenspeicher abgespeicherte Bilder chronolo gisch sequenziell abgespielt werden. Die Erfindung betrifft ferner ein Haushaltsgerät, auf weisend einen Behandlungsraum, mindestens eine in den Behandlungsraum gerichtete Kamera und eine Datenverarbeitungseinrichtung zur Durchführung des Verfahrens. Die Erfindung ist insbesondere vorteilhaft anwendbar auf eine Speicherung von während ei nes Garablaufs aus einem Garraum eines Gargeräts, insbesondere Backofens, aufge nommenen Bildern.
Es sind Backöfen bekannt, die mit einer Kamera zur Überwachung ihres Ofen- oder Gar raums ausgerüstet sind. Mittels der Kamera können Bilderfolgen von in dem Garraum befindlichem Gargut aufgenommen werden, beispielsweise, um während eines Garvor gangs einen Bräunungsfortschritt beobachten und auswerten zu können.
Dabei ist es aufgrund des häufig zeitlich ungleichmäßigen und auch nicht genau vorher sagbaren Verlaufs des Bräunungsvorgangs vorteilhaft, viele Bilder der Bilderfolge Vorhal ten zu können, beispielsweise zur visuellen Beurteilung durch einen Nutzer oder zur au tomatischen Bestimmung eines Bräunungsgrads. Andererseits benötigen Bilder typi scherweise viel Speicherplatz, was kostenungünstig ist.
Zur Reduzierung eines benötigten Speicherplatzes für Bilder einer Bilderfolge ist es be kannt, die Bilder komprimiert zu speichern, z.B. im MOV-, MPEG-, MP4-, JPEG- usw. Format. Dabei ist jedoch nachteilig, dass zur Bildkompression und Bilddekompression eine hohe Rechenleistung benötigt wird, was wiederum Kosten erhöht, z.B. zum Vorse hen eines Grafikprozessors usw. Auch bleibt die Aufnahmefähigkeit eines Datenspeichers nachteiligerweise dennoch begrenzt, speziell bei lang andauernden Garvorgängen. Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereit zustellen, Bilder einer von einem Haushaltsgerät, insbesondere Gargerät, speziell Back ofen, erzeugten - insbesondere auch lang andauernden - Bildfolge oder Bildsequenz auf besonders speicherplatzsparende Weise abzuspeichern.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteil hafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.
Die Aufgabe wird gelöst durch ein Verfahren zum Speichern von mittels einer Kamera eines Haushaltsgeräts in zeitlicher Abfolge während eines Betriebsablaufs aufgenomme nen Bildern ("Bildfolge"), bei dem
a) Bilder zusammen mit einem Zeitstempel und einer Bewertungszahl in einem Daten speicher mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespei chert werden, und dann
b) wenn sämtliche Speicherplätze mit Bildern belegt sind, von den in dem Datenspei cher gespeicherten Bildern diejenigen Bilder gelöscht werden, deren Bewertungs zahl einen vorgegebenen Schwellwert nicht erreicht, und folgend zu Schritt a) zu rückverzweigt wird,
wobei die Bewertungszahl eines Bilds ein Maß für einen bildlichen Unterschied zu einem davor aufgenommenen Bild darstellt.
Durch dieses Verfahren wird der Vorteil erreicht, dass die Möglichkeit bereitgestellt wird, mit begrenztem ("vorgegebenen") Speicherplatz für eine praktisch unbegrenzte Dauer Bilder einer Bildfolge mit für Haushaltsgeräte relevantem Bildinhalt abzuspeichern, also eine praktisch unbegrenzte Aufnahmedauer zu erreichen. Dabei wird ausgenutzt, dass zu Beginn des Verfahrens bei gefülltem Datenspeicher Bilder gelöscht werden, die sich (ent sprechend dem Schwellwert) in zeitliche Abfolge nicht stark voneinander unterscheiden. Der so freigewordene Speicherplatz wird mit neu aufgenommenen Bildern gefüllt, bis er wieder erschöpft ist. Dann werden erneut Bilder gelöscht, die sich (entsprechend dem neuen, typischerweise höheren Schwellwert) in zeitliche Abfolge nicht stark voneinander unterscheiden, usw. Mit jedem erneuten Durchlaufen der obigen Verfahrensschritte ver bleiben somit Bilder, die zu einer immer längeren Bildfolge gehören, wobei die bildlichen Unterschiede zwischen aufeinanderfolgenden verbliebenen Bildern typischerweise immer größer werden. Während also zu Beginn des Verfahrens eine einen vergleichsweise kur zen Zeitraum betreffende Bildfolge in dem Datenspeicher gespeichert ist, deren Bilder sich in zeitlicher Abfolge in der Regel eher wenig unterscheiden, ist zu einem späteren Zeitpunkt eine einen längeren Zeitraum abdeckende Bildfolge mit gleicher Bildzahl in dem Datenspeicher gespeichert, deren Bilder sich in zeitlicher Abfolge in der Regel stärker unterscheiden. Folglich werden nur relevante Bilder gespeichert. Bilder, die kaum Ände rungen zu ihren Vorgängern aufweisen, werden entfernt. Für die verbleibenden Bilder ergibt sich kein Qualitätsverlust durch Datenreduktion.
Ein weiterer Vorteil ist, dass sich das Verfahren einfach umsetzen lässt, insbesondere auch durch eine integrierte Schaltung mit geringer Rechenleistung wie einem Mikrocon troller, einen FPGA, einem ASIC, usw.
Die mittels der Kamera aufgenommenen Bilder können insbesondere mittels einer fest vorgegebenen Bildrate aufgenommen werden. Die Bildfolge der mittels der Kamera auf genommenen Bilder kann als "Video Stream" angesehen werden. Auch die in dem Da tenspeicher abgespeicherte Bildfolge kann als Video Stream angesehen werden, wobei jedoch dann die zugehörigen Zeitabstände zweier zeitlich aufeinanderfolgender Bilder in der Regel nicht mehr konstant ist, sondern sich aus der Differenz ihrer Zeitstempel bzw. der in dem Zeitstempel vorhandenen Zeitinformation ergeben. Der zeitstempel kann ins besondere den Aufnahmezeitpunkt des zugehörigen Bilds umfassen oder darstellen.
Das Haushaltsgerät kann ein Haushaltsgroßgerät oder ein Haushaltskleingerät sein, ins besondere im Sinne sog. weißer Ware. Das Haushaltsgroßgerät kann z.B. ein Wäsche pflegegerät (wie eine Waschmaschine, Wäschetrockner, Waschtrockner, usw.) oder ein Küchengerät wie eine Geschirrspülmaschine, ein Kühlgerät oder ein Gargerät (z.B. ein Backofen, ein Kochfeld, ein Mikrowellengerät, ein Dampfbehandlungsgerät oder eine be liebige Kombination davon, usw.) sein.
Das Verfahren dient insbesondere zum Speichern der Bildfolge des Haushaltsgeräts wäh rend eines Betriebsablaufs des Haushaltsgeräts, z.B. während eines Garvorgangs, eines Spülvorgangs, eines Waschvorgangs, usw. von entsprechendem Gut wie Gargut, Wä sche, Geschirr, Kühlgut usw. Die Kamera kann dazu Bilder aus einem Behandlungsraum des Gargeräts (z.B. einem Garraum, einer Wäschetrommel, einem Kühlraum usw.) auf nehmen bzw. in einen solchen Behandlungsraum gerichtet sein. Die Kamera kann aber z.B. auch dazu eingerichtet (ausgestaltet und angeordnet) sein, Bilder von auf einem Kochfeld garendem Gargut aufnehmen und dazu z.B. in eine darüber angeordnete Dunstabzugshaube integriert sein. Der Betriebsablauf kann auch ein Ablauf sein, bei dem kein Gut behandelt wird, z.B. ein Reinigungsablauf usw. Der Betriebsablauf kann ein Be triebsprogramm des Haushaltsgeräts sein. Das Verfahren kann also rein beispielhaft ein Verfahren zum Speichern von während eines Garvorgangs mittels einer Kamera eines Gargeräts in zeitlicher Abfolge aus einem Garraum des Gargeräts aufgenommenen Bil dern sein.
Die Kamera kann eine Schwarz/Weiß-Kamera oder - vorteilhafterweise - eine Farbkame ra sein. Die Kamera kann alternativ oder zusätzlich eine IR-Kamera sein oder im IR- Bereich empfindlich sein. Die von der Kamera aufgenommenen Bilder sind insbesondere bildpunktartige Bilder mit grundsätzlich beliebigen Auflösungen.
Der Zeitstempel umfasst Information über den Zeitpunkt der Aufnahme des zugehörigen Bilds, beispielsweise als absoluten Zeitpunkt der Aufnahme und/oder als relative Zeitdau er seit Beginn der ersten Aufnahme bzw. seit Beginn des Verfahrens. Mittels des Zeit stempels kann insbesondere eine zeitliche Reihenfolge und ein zeitlicher Abstand zweier Bilder zueinander bestimmt werden.
Der Datenspeicher ist insbesondere ein in das Haushaltsgerät integrierter Datenspeicher.
Dass Bilder gelöscht werden, deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht, kann umfassen, dass alle Bilder aus dem Datenspeicher gelöscht werden, deren Bewertungszahl unterhalb des vorgegebenen Schwellwerts liegt. Analog können alle Bilder gelöscht werden deren Bewertungszahl den vorgegebenen Schwellwert er reicht, aber nicht überschreitet, wobei dieser Fall im Folgenden nicht weiter ausgeführt wird. Analog kann die Bewertungszahl auch so berechnet werden, dass sie umso geringer ist, je größer ein Bildunterschied ist. In diesem - inhaltlich analogen und deshalb nicht weiter beschriebenen - Fall können alle Bilder gelöscht werden, deren Bewertungszahl oberhalb des vorgegebenen Schwellwerts liegt. In anderen Worten werden insbesondere alle Bilder gelöscht, deren bildlicher Unterschied zu einem zuvor aufgenommenen Bild nicht ausreichend stark oder groß ist.
Dass die Bewertungszahl ein Maß für einen bildlichen Unterschied zwischen zwei Bildern darstellt, kann insbesondere umfassen, dass die Bewertungszahl umso höher ist, je höher deren bildlicher Unterschied ist. Der bildliche Unterschied kann sich auf eine Form von in den beiden Bildern abgebildeten Objekten und/oder auf deren Farbe beziehen. Zwei in Form und Farbe identische Bilder können insbesondere die niedrigste Bewertungszahl, beispielsweise null, aufweisen.
Nachdem nach einem Löschen von Bildern in Schritt b) zu Schritt a) zurückverzweigt wor den ist, werden in Schritt a) zuvor freigewordene Speicherplätze durch neu aufgenomme ne Bilder aufgefüllt, bis erneut der Speicherplatz voll ist, usw.
Schritt b) kann auch als Anwendung eines "Reduzierungs-Algorithmus" zur Löschung von Bildern mit geringster Relevanz verstanden werden. Unter Bildern mit geringster Relevanz oder irrelevanten Bildern können insbesondere Bilder verstanden werden, welche einen kleinen oder keinen Unterschied zu einem vorhergehenden Bild aufweisen.
Die in dem Datenspeicher gespeicherten Bilder können in einer Weiterbildung in grund sätzlich beliebiger Reihenfolge gespeichert sein, da ihr Zeitstempel eine eindeutige zeitli che Position oder chronologische Abfolge vorgibt. Alternativ können die Bilder in dem Da tenspeicher bereits in zeitlicher Reihenfolge bzw. chronologisch geordnet gespeichert sein. Dazu können beispielsweise Bilder mit zu niedriger Bewertungszahl aus dem Spei cher entfernt werden, die verbleibenden Bilder zusammengeschoben werden und neue Bilder an die frei gewordenen Plätze angehängt werden. Damit liegen die Bilder im Da tenspeicher in der chronologisch korrekten Reihenfolge vor.
Es ist eine Weiterbildung, dass das Verfahren bis zum Ende eines Betriebsablaufs durch geführt wird bzw. mit Beendigung eines Betriebsablaufs abgebrochen wird. Die bis dahin gespeicherte Bildfolge kann dann gelöscht oder für eine folgende Auswertung und/oder Ansicht gespeichert bleiben. Es ist eine Ausgestaltung, dass Schritt b) bis zum Ende des Garvorgangs mit steigender Bewertungszahl wiederholt durchgeführt wird. So wird eine Löschung von Bildern in Schritt b) besonders zuverlässig sichergestellt.
Es ist eine Weiterbildung, dass die Bewertungszahl erhöht wird, wenn in Schritt b) bei gleichgebliebener Bewertungszahl keine Bilder oder keine ausreichende Zahl von Bildern gelöscht werden. Ist also in Schritt a) der Datenspeicher mit Bildern vollgelaufen, wird in Schritt b) zunächst versucht, Bilder mit der zuletzt verwendeten Bewertungszahl zu lö schen. Stellt sich dabei heraus, dass dann keine Bilder oder eine nicht genügende Anzahl von Bildern gelöscht wird, wird die Bewertungszahl erhöht und dann Schritt b) erneut durchgeführt. Erst nach erneuter oder zweiter Durchführung von Schritt b) wird zurück zu Schritt a) verzweigt.
Es ist eine Weiterbildung, dass die Bewertungszahl mit jeder Durchführung von Schritt b) erhöht wird (zumindest solange die Bewertungszahl nicht für alle vorhandenen Bilder er neut berechnet wird, wie weiter unten genauer beschrieben wird). So wird vorteilhafter weise erreicht, dass typischerweise eine vergleichsweise hohe Zahl von Bildern gelöscht wird, so dass der Datenspeicher in Schritt a) nicht so schnell vollläuft. Dies hält zudem eine benötigte Rechenleistung gering.
Es ist eine Weiterbildung, dass eine Erhöhung der Bewertungszahl eine inkrementeile Erhöhung ist, also die Bewertungszahl bei einer Erhöhung um ihre geringste Schrittweite erhöht wird. Weisen die Bewertungszahlen beispielsweise jeweils einen Abstand Eins zu ihren nächsten Nachbarn auf, wird die Bewertungszahl insbesondere um den Wert Eins erhöht. Jedoch kann allgemein die Erhöhung oder Schrittweite der Bewertungszahl grundsätzlich frei gewählt werden, beispielsweise im Verlauf des Verfahrens auch varia bel.
Es ist eine Ausgestaltung, dass in Schritt b) vor dem Löschen die Bewertungszahlen aller Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird.
Ein Beispiel für diese Ausgestaltung geht von folgender Speicherbelegung des Daten speichers aus:
Es sei ferner angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5. Dies betrifft Bild_2, Bild_3 und Bild_4. In Schritt b) werden nun mit dem Löschen von Bild_2, Bild_3 und Bild_4 deren Bewertungszahlen BZ dem zeitlich nächsten Bild hinzuaddiert, das nicht gelöscht wird, nämlich Bild_5:
Die freigewordenen Speicherplätze von Bild_2, Bild_3 und Bild_4 können in einem fol genden Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.
Es ist eine Ausgestaltung, dass in Schritt b)
- vor dem Löschen die Bewertungszahlen aller Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird und
- diejenigen Bilder gelöscht werden, deren addierte Bewertungszahl den vorgege benen Schwellwert nicht erreicht.
Dadurch wird der Vorteil erreicht, dass die Bewertungszahl(en), die ja ein Maß für eine bildliche Abweichung zu einem davor aufgenommenen Bild darstellt bzw. darstellen, bei Löschen eines oder mehrerer Bilder nicht verloren gehen, sondern dem nächsten noch vorhandenen Bild zugeschlagen werden. Dadurch wiederum wird der bildliche Unter schied zu dem dann noch verbliebenen vorherigen Bild durch ein passendes Maß bzw. eine passende Bewertungszahl ausgedrückt.
Ein Beispiel für diese Ausgestaltung geht von folgender Speicherbelegung des Daten speichers aus: Es sei ferner angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5. Dies betrifft zunächst die Bilder Bild_2, Bild_3 und Bild_4. In Schritt b) werden nun die bei Übergang zu Schritt b) vorliegenden Bewertungszahlen BZ dieser Bilder dem zeitlich nächsten Bild hinzuaddiert:
Nun werden alle Bilder, die immer noch eine Bewertungszahl BZ < 5 aufweisen, gelöscht:
Die freigewordenen Speicherplätze von Bild_2 und Bild_3 können in einem folgenden Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.
Es ist eine Ausgestaltung, dass in Schritt b)
- vor dem Löschen die Bewertungszahlen der Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, in zeitlich aufsteigender Reihenfolge dem zeitlich nächsten noch vorhandenen Bild kumulativ zuaddiert werden, bis die kumulativ addierte Bewertungszahl den Schwellwert erreicht und
- diejenigen Bilder gelöscht werden, deren kumulativ addierte Bewertungszahl den vorgegebenen Schwellwert nicht erreicht.
Ein Beispiel für diese Ausgestaltung gehe wiederum von folgender Speicherbelegung des Datenspeichers aus:
Es sei auch hier angenommen, dass in Schritt b) alle Bilder mit einer Bewertungszahl BZ unterhalb des Schwellwerts 5 gelöscht werden sollen, also alle Bilder mit BZ < 5.
Das in zeitlicher Reihenfolge erste Bild, das den Schwellwert nicht erreicht, ist Bild_2. Dieses wird folglich gelöscht, und seine Bewertungszahl BZ = 1 wird dem zeitlich nächs ten Bild kumulativ zuaddiert bzw. zugeschlagen, hier also Bild_3:
Bild_3 erreicht damit aber immer noch nicht den vorgegebenen Schwellwert, so dass fol gend dessen bereits kumulativ addierte Bewertungszahl BZ = 4 dem nächsten Bild, näm lich Bild 4 zuaddiert wird:
Die kumulativ addierte Bewertungszahl von Bild_4 liegt nun über dem Schwellwert, so dass Bild_4 folgend nicht gelöscht wird. Nach dem Löschen liegt daher folgende Spei cherbelegung vor:
Die freigewordenen Speicherplätze der Bilder Bild_2 und Bild_3 können in einem folgen den Schritt a) mit neu aufgenommenen Bildern aufgefüllt werden.
Es ist eine Weiterbildung, dass die vor Schritt b) vorliegende Bewertungszahl eines Bilds, das nur durch kumulative Addition der Bewertungszahlen vorhergehender Bilder den Schwellwert erreicht (in dem vorherigen Beispiel Bild_4), dem folgenden Bild zuaddiert wird.
In dem vorhergehenden Beispiel würde dann nach dem Löschen folgende Speicherbele gung vorliegen:
Es ist eine Ausgestaltung, dass die Bewertungszahlen aller nach einem Durchführen von Schritt b) noch verbliebenen oder gespeicherten Bilder neu berechnet werden. Dies ergibt eine besonders vorteilhafte Rückbehaltung aussagekräftiger Bilder. Das Neuberechnen kann insbesondere noch vor der Rückverzweigung zu Schritt a) durchgeführt werden. Es ist eine Weiterbildung, dass der Neuberechnung der Bewertungszahlen in einem fol genden Schritt b) ein einfaches Löschen aller Bilder, welche den Schwellwert nicht errei chen, folgt. Dabei wird ausgenutzt, dass aufgrund der Neuberechnung der Bewertungs zahlen deren folgende Addition nicht sinnvoll ist, zumindest wenn die Neuberechnung mit Schritt b) jedesmal erfolgt. Erfolgt die Neuberechnung jedoch nicht bei jedem Schritt b), kann eine Addition für die dazwischen durchgeführten Schritte b) sinnvoll sein.
Es ist eine Ausgestaltung, dass dem ersten Bild die höchste Bewertungszahl zugeordnet wird. So wird der Vorteil erreicht, dass das erste Bild immer in der Bildfolge verbleibt und zudem in Bezug auf seine Bewertungszahl definiert ist.
Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem arithmetischen Mit telwert der Unterschiede der Bildpunkte zu den entsprechenden Bildpunkten in dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig. Weist ein Bild also (m n) Bildpunkte B (x, y) mit x [0; m-1] und y = [0; n-1] auf, werden Bildpunkte B (x, y) mit gleichem x und y bzw. deren Bildwerte insbesondere voneinander subtrahiert. Folgend werden die Differenzen der Bildwerte, insbesondere deren Beträge, arithmetisch gemittelt.
Die Bildwerte können beispielsweise Helligkeitswerte sein, z.B. Graustufenwerte oder einem jeweiligen Farbkanal zugehörige Farbhelligkeitswerte. Die Helligkeitswerte können z.B. in einem Wertebereich [0; 255] liegen. Sind einem Bildpunkt mehrere Bildwerte zuge ordnet (beispielsweise Helligkeitswerte für drei Farbkanäle R, G und B), können zur Be stimmung der endgültigen Bewertungszahl die farbkanalabhängig bestimmten Mittelwerte selbst wieder gemittelt werden.
Die Bewertungszahl BZ für ein BildJ mit (m n) Bildpunkten kann folglich ausgedrückt werden als: mit Wpj einem Wert eines Kanals Kp eines bestimmten Bildpunkts mit der Koordinate (x, y). Beispielsweise kann ein Bildpunkt Bildpunktwerte Wp in drei Farbkanälen aufweisen, z.B. einen roten Farbwert W1j in einem roten Farbkanal (p =1), einen grünen Farbwert W2j in einem grünen Farbkanal (p =3) und einen blauen Farbwert W3j in einem blauen Farb kanal (p =3). Jedoch ist die Erfindung nicht darauf beschränkt und kann z.B. auch mehr oder weniger Kanäle, insbesondere Farbkanäle aufweisen. So kann bei einem Graustu fenbild auch nur ein Kanal vorhanden sein, wobei die Bildpunktwerte dann den entspre chenden Helligkeiten der Bildpunkte entsprechen.
Wpi ist ein entsprechender Wert für das zuletzt vor BildJ aufgenommene (dem "davor aufgenommenen Bild") abgespeicherte BildJ. Unter dem davor aufgenommenen Bild kann insbesondere ein Bild verstanden werden, dessen Zeitstempel den nächstfrüheren Zeitstempel zu dem Zeitstempel von BildJ aufweist. Dabei kann insbesondere zur Be rechnung der Bewertungszahl von BildJ dasjenige im Datenspeicher gespeicherte BildJ als Vergleich herangezogen werden, das den dazu zeitlich als nächstes davorliegenden Zeitstempel aufweist.
Wenn die Bildpunktwerte Wp in einem Wertebereich von z.B. [0; 255] liegen, liegt vorteil hafterweise auch die Bewertungszahl BZ in diesem Wertebereich. Ist BZ = 0, bedeutet dies insbesondere, dass die Bilder BildJ und BildJ identisch sind. BZ = max (z.B. 255) bedeutet insbesondere, dass sich die Bilder BildJ und BildJ stark unterscheiden. Die Bewertungszahl für ein Bild liegt also insbesondere im Wertebereich der Bildwerte der einzelnen Bildpunkte. Sie kann gerundet werden, z.B. auf einen ganzen Wert, insbeson dere auf- oder abgerundet.
Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem linearen Korrelati onskoeffizienten zu dem davor aufgenommenen Bild entspricht, insbesondere farbka nalabhängig. Die Bestimmung eines linearen Korrelationskoeffizienten zweier Bilder ist allgemein bekannt und wird deshalb hier nicht mehr ausgeführt.
Es ist eine Ausgestaltung, dass die Bewertungszahl eines Bilds dem Unterschied fourier transformierter Spektralwerte zu dem davor aufgenommenen Bild entspricht, insbesonde re farbkanalabhängig. Es werden bei dieser Ausgestaltung insbesondere Ortsfrequenzen zweier Bilder verglichen und bewertet. Die Quantifizierung eines Unterschieds zweier Spektren, insbesondere Fourier-Spektren, ist allgemein bekannt und wird deshalb hier nicht weiter ausgeführt. Es ist eine Weiterbildung, dass in Schritt b) die Bewertungszahl derjenigen Bildern, deren Bewertungszahl den vorgegebenen Schwellwert nicht erreicht, vor dem Löschen auf Null gesetzt wird und dann alle Bilder aus dem Datenspeicher gelöscht werden deren Bewer tungszahl Null ist.
Es ist eine Ausgestaltung, dass die gespeicherten Bilder Rohbilder sind, also insbesonde re nicht komprimiert sind. Dies ergibt den Vorteil eines besonders zuverlässigen und emp findlichen Bildvergleichs. Auch kann dann auf eine Bildverarbeitung verzichtet werden, was Rechenleistung spart. Die Rohbilder sind insbesondere Vollbilder. Sie umfassen ins besondere die Rohdaten der aufgenommenen Bilder.
Da die meisten mit Haushaltsgeräten verbundenen sichtbaren Vorgänge oder Verände rungen während eines Betriebsablaufs eher langsam voranschreiten, können die Bilder auch mit einer geringen Bildrate aufgenommen oder in dem Datenspeicher gespeichert werden, z.B. mit einer Bildrate von einem Bild pro Sekunde oder sogar noch geringer, z.B. einem Bild pro fünf, zehn, dreißig Sekunden, usw. Die Verwendung einer geringen Bildra te ist auch deshalb vorteilhaft, weil sich so bildliche Unterschiede zwischen zeitlich aufein anderfolgend aufgenommenen Bildern besonders gut bestimmen lassen und die Bewer tungszahl besonders aussagekräftig wird, speziell bei schleichenden Veränderung in einer Bildfolge. Auch lässt sich so der Rechenaufwand besonders gering halten.
Die Aufgabe wird auch gelöst durch ein Verfahren, bei dem mittels des Verfahrens wie oben beschrieben in einem Datenspeicher abgespeicherte Bilder chronologisch sequen ziell (mit aufsteigendem Zeitstempel) abgespielt werden, z.B. im Sinne eines Video- Streams. Dadurch wird der Vorteil erreicht, dass eine auch über einen sehr langen Zeit raum aufgenommene Bildfolge nach Art eines Zeitraffers dargestellt werden kann (Zeitraf ferdarstellung), wobei die Zeitabstände (Abstände zwischen den Zeitstempeln) zwischen den gespeicherten Bildern in der Regel unterschiedlich sind. Ein besonderer Vorteil ist, dass praktisch nur Bilder abgespielt sind, deren Abfolge besonders aussagekräftig ist, da sich aufeinanderfolgende Bilder vergleichsweise stark unterscheiden.
Es ist eine Weiterbildung, dass die Bildsequenz der gespeicherten Bilder auf einem Bild schirm dargestellt wird. So kann ein Nutzer vorteilhafterweise ein Ergebnis eines Betriebs eines Haushaltsgeräts verfolgen. Beispielsweise möchte ein Nutzer Gargut in einem Backofen garen, hat aber keine Zeit, den Garfortschritt dauernd zu beaufsichtigen: der Nutzer beschickt den Garraum zunächst mit dem Gargut und startet einen Garvorgang. Dann verlässt der Nutzer den Raum für einen längeren Zeitraum. Während des Garvor gangs werden Bilder aus dem Garraum und damit von dem Gargut wie oben beschrieben aufgenommen und gespeichert. Kommt der Nutzer nach seiner Abwesenheit wieder, kann er den Verlauf des Garfortschritts (z.B. einen Bräunungsfortschritt) durch Abspielen der gespeicherten Bilder in zeitlich aufsteigender und damit chronologisch richtiger Folge (insbesondere nach Art eines Zeitraffers) nachverfolgen.
Es ist eine Weiterbildung, dass in dem Datenspeicher gespeicherte Bilder mit chronolo gisch aufeinanderfolgendem Zeitstempel, die einen hohen Unterschied in ihren Bewer tungszahlen aufweisen (der z.B. höher als ein zweiter Schwellwert ist) in einer abzuspie lenden Bildfolge oder Videosequenz nicht direkt aufeinanderfolgend abgespielt werden, sondern durch ein oder mehrere berechnete Zwischenbilder voneinander getrennt. Die geräteseitig / automatisch berechnete Zwischenbilder sind durch Interpolation aus den beiden tatsächlich aufgenommenen Bildern generierte Bilder. Dies ermöglicht vorteilhaf terweise einen sanfteren bildlichen Übergang zwischen zwei sehr unterschiedlichen Bil dern.
Eine andere Anwendung der gespeicherten Bilder besteht darin, diese geräteseitig op tisch auszuwerten, z.B. zur Erkennung eines Erreichens eines vorgegebenen End- Bräunungsgrads, der beispielsweise aus einem zeitlichen Verlauf des Bräunungsgrads bestimmbar, insbesondere vorhersagbar, sein kann. Das Haushaltsgerät kann beruhend auf dem Ergebnis der Auswertung automatisch eine Aktion auslösen, beispielweise einen Garvorgang beenden.
Das Abspielen der in dem Datenspeicher abgespeicherten Bilder kann also ein Darstellen der Bilder in einem Bildschirm und/oder deren Auswertung umfassen.
Die Aufgabe wird auch gelöst durch ein Haushaltsgerät, insbesondere Gargerät, aufwei send einen Behandlungsraum, insbesondere Garraum, mindestens eine in den Behand lungsraum gerichtete Kamera zur Aufnahme von Bildern für die Verfahren wie oben be schrieben und eine Datenverarbeitungseinrichtung zur Durchführung der Verfahrens wie oben beschrieben. Es ist eine Weiterbildung, dass das Haushaltsgerät einen Bildschirm zum Abspielen einer gemäß dem obigen Verfahren erzeugten Bildfolge aufweist.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Backofens, der dazu eingerichtet ist, das erfindungsgemäße Verfahren ablaufen zu lassen.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Backofens 1 mit ei nem Garraum 2, in dem Gargut G untergebracht ist. Der Backofen 1 weist eine hier de ckenseitig angeordnete Kamera 3, insbesondere Farbkamera, auf, die in den Garraum 2 gerichtet ist und von oben Bilder, die das Gargut G zeigen, aufnehmen kann.
Die Kamera 3 ist mit einer Datenverarbeitungseinrichtung 4 gekoppelt, welche einen Da tenspeicher 5 aufweist. Die Datenverarbeitungseinrichtung 4 dient zur Verarbeitung der von der Kamera 3 aufgenommenen Bilder, insbesondere zu ihrer Speicherung in dem Datenspeicher 5 als Rohbilder, einer Berechnung einer Bewertungszahl und einer Zuord nung eines Zeitstempels zu jedem Bild. Die Zuordnung der Bewertungszahl und des Zeit stempels kann durch eine Speicherung in Tabellenform und entsprechende Verknüpfun gen erfolgen. Die Bilder können insbesondere mit einer vergleichsweise geringen Bildrate erzeugt und/oder abgespeichert werden, z.B. kann ein Bild pro Sekunde in dem Daten speicher 5 abgespeichert werden.
Die Datenverarbeitungseinrichtung 4 weist lediglich einen Mikrocontroller, FPGA, ASIC o.ä. zur Datenverarbeitung auf. Auch ist der Datenspeicher 5 klein dimensioniert.
Die Datenverarbeitungseinrichtung 4 ist zudem mit einem - z.B. berührungsempfindlichen - Bildschirm 6 des Backofens 1 verbunden. Die Datenverarbeitungseinrichtung 4 ist ins besondere dazu eingerichtet, die in dem Datenspeicher 5 gespeicherten Bilder in chrono logischer Reihenfolge auf dem Bildschirm 6 anzuzeigen, z.B. als Video Stream. Wie durch den gestrichelten Rahmen angedeutet, kann mittels der Datenverarbeitungs einrichtung 4 ein Verfahren zum Speichern von mittels der Kamera 3 in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern durchgeführt werden.
Dazu wird zu Beginn des Verfahrens in einem Schritt S1 ein erstes Bild aufgenommen und diesem eine höchste Bewertungszahl zugeordnet. Auch wird ein zugehöriger Zeit stempel erzeugt. Diese Daten werden in dem Datenspeicher s gespeichert, und zwar z.B. jeweils nach Erzeugung oder als zusammenhängendes Datenpaket.
Folgend wird in Schritt S2 ein weiteres Bild aufgenommen und ein zugehöriger Zeitstem pel erzeugt.
Dem weiteren Bild wird in Schritt S3 mittels der Datenverarbeitungseinrichtung 4 eine Be wertungszahl berechnet und zugeordnet, und zwar grundsätzlich beruhend auf einer be liebigen der wie weiter oben beschriebenen Berechnungsmethoden, oder auf eine noch andere Weise.
Auch diese Daten für das weitere Bild werden in dem Datenspeicher 5 gespeichert, und zwar auch hier z.B. jeweils nach Erzeugung oder als zusammenhängendes Datenpaket.
In Schritt S4 wird überprüft, ob der Datenspeicher 5 voll oder bald voll sein wird. Falls nicht ("N"), wird zu Schritt S2 zurückverzweigt.
Falls dies jedoch der Fall ist ("J"), werden in Schritt S5 mittels der Datenverarbeitungsein richtung 4 diejenigen in dem Datenspeicher 5 gespeicherten Bildern wie weiter oben be schrieben identifiziert, deren Bewertungszahl einen vorgegebenen Schwellwert nicht er reicht.
In einem folgenden Schritt S6 werden diese Bilder, die den vorgegebenen Schwellwert nicht erreichen, aus dem Datenspeicher 5 gelöscht. Es wird dann zu Schritt S2 zurückver zweigt. Das Verfahren kann abgebrochen werden, wenn eine bestimmt Bedingung erfüllt wird, z.B. ein Garparameter (wie eine Gardauer, ein Bräunungsgrad usw.) einen vorgegebenen Zielwert erreicht hat oder ein Nutzer den Vorgang aktiv beendet. Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei spiel beschränkt.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Tole ranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste
1 Backofen
2 Garraum
3 Kamera
4 Datenverarbeitungseinrichtung
5 Datenspeicher
6 Bildschirm
G Gargut
S1-S6 Verfahrensschritte

Claims

PATENTANSPRÜCHE
1. Verfahren (S1-S6) zum Speichern von mittels einer Kamera (3) eines Haushalts geräts (1) in zeitlicher Abfolge während eines Betriebsablaufs aufgenommenen Bildern (S1 , S2), bei dem
a) Bilder zusammen mit einem Zeitstempel und einer Bewertungszahl in einem Datenspeicher (5) mit einer vorgegebenen Zahl von Speicherplätzen für die Bilder gespeichert werden (S2, S3), und dann
b) wenn sämtliche Speicherplätze mit Bildern belegt sind (S4), von den in dem Datenspeicher (5) gespeicherten Bildern diejenigen Bilder gelöscht werden (S6), deren Bewertungszahl einen vorgegebenen Schwellwert nicht erreicht (S5), und folgend zu Schritt a) zurückverzweigt wird (S2),
wobei die Bewertungszahl eines Bilds ein Maß für einen bildlichen Unterschied zu einem davor aufgenommenen Bild darstellt.
2. Verfahren (S1-S6) nach Anspruch 1 , bei dem Schritt b) bis zum Ende eines Be triebsablaufs mit steigender Bewertungszahl wiederholt durchgeführt wird (S5-S6).
3. Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem in Schritt b)
vor dem Löschen (S6) die Bewertungszahlen derjenigen Bilder, deren Bewer tungszahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten noch vorhandenen Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird (S5).
4. Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem in Schritt b)
vor dem Löschen die Bewertungszahlen derjenigen Bilder, deren Bewertungs zahl den Schwellwert nicht erreicht, der Bewertungszahl des zeitlich nächsten Bilds, dessen Bewertungszahl den Schwellwert erreicht, zuaddiert wird (S5) und
diejenigen Bilder gelöscht werden, deren addierte Bewertungszahl den vorge gebenen Schwellwert nicht erreicht (S6).
5. Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem in Schritt b) vor dem Löschen die Bewertungszahlen der Bilder, deren Bewertungszahl den Schwellwert nicht erreicht, in zeitlich aufsteigender Reihenfolge dem zeit lich nächsten noch vorhandenen Bild kumulativ zuaddiert werden, bis die ku mulativ addierte Bewertungszahl den Schwellwert erreicht (S5) und diejenigen Bilder gelöscht werden, deren kumulativ addierte Bewertungszahl den vorgegebenen Schwellwert nicht erreicht (S6).
6. Verfahren (S1-S6) nach Anspruch 5, bei dem die vor Schritt b) vorliegende Bewer tungszahl eines Bilds, das nur durch kumulative Addition der Bewertungszahlen vorhergehender Bilder den Schwellwert erreicht, dem folgenden Bild zuaddiert wird (S5).
7. Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem die den Bildern ursprünglich zugeordneten Bewertungszahlen unverändert bleiben (S5).
8. Verfahren (S1-S6) nach einem der Ansprüche 1 bis 2, bei dem die Bewertungs zahlen aller nach einem Durchführen von Schritt b) noch verbliebenen Bilder neu berechnet werden (S3).
9. Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem dem ers ten Bild die höchste Bewertungszahl zugeordnet wird (S1).
10. Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem die Be wertungszahl eines Bilds dem arithmetischen Mittelwert der Unterschiede der Bild punkte zu einem davor aufgenommenen Bild entspricht, insbesondere farbka nalabhängig (S3).
11. Verfahren (S1-S6) nach einem der Ansprüche 1 bis 9, bei dem die Bewertungszahl eines Bilds dem linearen Korrelationskoeffizienten zu dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig (S3).
12. Verfahren (S1-S6) nach einem der Ansprüche 1 bis 9, bei dem die Bewertungszahl eines Bilds dem Unterschied fouriertransformierter Spektralwerte zu dem davor aufgenommenen Bild entspricht, insbesondere farbkanalabhängig (S3).
13. Verfahren, bei dem mittels des Verfahrens (S1-S6) nach einem der vorhergehen den Ansprüche in einem Datenspeicher (5) abgespeicherte Bilder mit aufsteigen dem Zeitstempel sequenziell abgespielt werden.
14. Haushaltsgerät (1), aufweisend einen Behandlungsraum (2), mindestens eine in den Behandlungsraum (2) gerichtete Kamera (3), einen Datenspeicher (5) und ei ne Datenverarbeitungseinrichtung (4) zur Durchführung des Verfahrens (S1-S6) nach einem der Ansprüche 1 bis 13.
15. Haushaltsgerät (1) nach Anspruch 14, aufweisend einen Bildschirm (6) zum Ab spielen einer gemäß dem Verfahren nach Anspruch 13 erzeugten Bildfolge.
EP20711909.0A 2019-03-18 2020-03-16 Verfahren zum speichern von mittels einer kamera eines haushaltsgrossgeräts in zeitlicher abfolge während eines betriebsablaufs aufgenommenen bildern Active EP3942232B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019203629.5A DE102019203629A1 (de) 2019-03-18 2019-03-18 Speichern von mittels eines Haushaltsgeräts aufgenommenen Bildern
PCT/EP2020/057083 WO2020187830A1 (de) 2019-03-18 2020-03-16 Speichern von mittels eines haushaltsgeräts aufgenommenen bildern

Publications (2)

Publication Number Publication Date
EP3942232A1 true EP3942232A1 (de) 2022-01-26
EP3942232B1 EP3942232B1 (de) 2024-05-08

Family

ID=69845423

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20711909.0A Active EP3942232B1 (de) 2019-03-18 2020-03-16 Verfahren zum speichern von mittels einer kamera eines haushaltsgrossgeräts in zeitlicher abfolge während eines betriebsablaufs aufgenommenen bildern

Country Status (4)

Country Link
EP (1) EP3942232B1 (de)
DE (1) DE102019203629A1 (de)
PL (1) PL3942232T3 (de)
WO (1) WO2020187830A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE522856C2 (sv) * 1999-01-29 2004-03-09 Axis Ab En datalagrings- och reduceringsmetod för digitala bilder, samt ett övervakningssystem som använder nämnda metod
JP2005151546A (ja) * 2003-10-20 2005-06-09 Matsushita Electric Ind Co Ltd マルチメディアデータ記録装置、モニタシステム、およびマルチメディアデータ記録方法
CN105222521B (zh) * 2013-04-23 2018-01-09 Lg电子株式会社 冰箱及其控制方法
JP5853155B2 (ja) * 2013-10-24 2016-02-09 パナソニックＩｐマネジメント株式会社 加熱調理器、調理システム、演算装置及び調理支援方法
JP6335847B2 (ja) * 2015-06-30 2018-05-30 三菱電機株式会社 冷蔵庫
JP6920594B2 (ja) * 2016-07-11 2021-08-18 パナソニックＩｐマネジメント株式会社 加熱調理器
DE102016215550A1 (de) * 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Feststellen eines Bräunungsgrads von Gargut

Also Published As

Publication number Publication date
PL3942232T3 (pl) 2024-09-02
EP3942232B1 (de) 2024-05-08
DE102019203629A1 (de) 2020-09-24
WO2020187830A1 (de) 2020-09-24

Similar Documents

Publication Publication Date Title
DE102020112205B4 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
DE102014205503A1 (de) Verfahren zur Korrektur eines Messwerteverlaufs durch das Eliminieren periodisch auftretender Messartefakte, insbesondere bei einem Bodenverdichter
DE69720192T2 (de) Nachverarbeitungsmethode zur Verringerung von Artefakten in blockweise kodierten digitalen Bildern, und Vorrichtung zur Verwendung der Methode
EP0645037A1 (de) Verfahren zur detektion von änderungen in bewegtbildern
DE69318516T2 (de) Vorrichtung zur Grössenkontrolle eines digitalen Videosignalkodes
EP3942232B1 (de) Verfahren zum speichern von mittels einer kamera eines haushaltsgrossgeräts in zeitlicher abfolge während eines betriebsablaufs aufgenommenen bildern
DE3603552C2 (de)
DE69115530T2 (de) System zum Filtern eines Bildes
DE102006008780A1 (de) System von Komplexitätsvorverarbeitung innerhalb eines Bildes
WO1991012584A2 (de) Verfahren zur bestimmung der momentanen lage und form von bewegten objekten und zu deren anzeige als binärbild
DE60311946T2 (de) Verfahren und Vorrichtung zur Bilddateienglättung
DE19625402A1 (de) Verfahren zur Bearbeitung von Bildpunkten eines Bildsegments durch einen Rechner
EP4213695A1 (de) System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt
DE102012219694A1 (de) Datenkomprimierung
BE1028761B1 (de) Verfahren zum Betreiben eines Gargerätes und Gargerät
DE60219364T2 (de) Berechnung von komprimierten videoinformationen
AT508873A1 (de) Verfahren zur aufnahme eines bildes
DE102004060829B4 (de) Verfahren und Vorrichtung zur Reduktion von Rauschen in einem Bildsignal
BE1030917B1 (de) Gargerät und Verfahren zum Betreiben eines Gargeräts
DE69328886T2 (de) Verfolgungsverfahren aus verformbaren Bildelementen und/oder Bildelementen mit stark venauschten Kanten
DE102023125036A1 (de) Verfahren zum Erfassen von Garräumen und Baugruppe
BE1030619B1 (de) Verfahren und Verknüpfungseinheit zum Erzeugen einer Bildsequenz eines mehrphasigen Reinigungsprogramms für ein Reinigungsgerät, Verfahren zum Anzeigen einer Bildsequenz, Anzeigeeinrichtung, Reinigungsgerät und mobile Einheit
DE60007131T2 (de) Optimaler mpeg-standardvideodekoder
DE102023113559A1 (de) Verfahren und Vorrichtung zur Signalverarbeitung und -darstellung
EP1927862A1 (de) Verfahren und Vorrichtung zur Auswahl einer Farbstufe und einer Helligkeitsstufe für Bildpunkte eines Displays

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211018

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230206

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: H05B 6/64 20060101ALI20231101BHEP

Ipc: A47L 15/42 20060101ALI20231101BHEP

Ipc: D06F 39/00 20200101ALI20231101BHEP

Ipc: F24C 7/08 20060101AFI20231101BHEP

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20231207

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020007932

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240908

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240809

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240909

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240909

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240808

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240908

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240809

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240808

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502020007932

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20250211

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240508

REG Reference to a national code

Ref country code: CH

Ref legal event code: H13

Free format text: ST27 STATUS EVENT CODE: U-0-0-H10-H13 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20251023

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250316

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250316

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260324

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20260331

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20260306

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20260309

Year of fee payment: 7