EP3932282A1 - Rinsing device with image detection device - Google Patents

Rinsing device with image detection device Download PDF

Info

Publication number
EP3932282A1
EP3932282A1 EP21181161.7A EP21181161A EP3932282A1 EP 3932282 A1 EP3932282 A1 EP 3932282A1 EP 21181161 A EP21181161 A EP 21181161A EP 3932282 A1 EP3932282 A1 EP 3932282A1
Authority
EP
European Patent Office
Prior art keywords
image
sensor
area
interior
interior area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP21181161.7A
Other languages
German (de)
French (fr)
Other versions
EP3932282C0 (en
EP3932282B1 (en
Inventor
Seyfettin Kara
Eckard Riedenklau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miele und Cie KG
Original Assignee
Miele und Cie KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miele und Cie KG filed Critical Miele und Cie KG
Publication of EP3932282A1 publication Critical patent/EP3932282A1/en
Application granted granted Critical
Publication of EP3932282C0 publication Critical patent/EP3932282C0/en
Publication of EP3932282B1 publication Critical patent/EP3932282B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4251—Details of the casing
    • A47L15/4257—Details of the loading door
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4293—Arrangements for programme selection, e.g. control panels; Indication of the selected programme, programme progress or other parameters of the programme, e.g. by using display panels
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/30—Variation of electrical, magnetical or optical quantities
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/26—Indication or alarm to the controlling device or to the user

Definitions

  • the invention relates to a flushing device with an image acquisition device
  • the interior of a dishwasher can be monitored by means of a camera and the corresponding image evaluation in order to optically monitor and evaluate the load level, load types, degree and types of soiling, etc. in order to improve the washing performance.
  • the object of the invention is to create an improved flushing device with an improved image capturing device.
  • the advantages that can be achieved with the invention include, in addition to an enlarged viewing angle of a static camera, a saving in costs and material, as well as increased stability of both the image capturing device and the sub-area of the flushing device in which the image capturing device is installed.
  • the image acquisition device of the dishwasher presented here manages without additional movable mechanical elements, but nevertheless enables the acquisition of the views of the upper and lower basket including the items to be washed. It is therefore not necessary for the camera to be mechanically displaceable in various ways in order to achieve large-area visual coverage and to enlarge a restricted viewing angle of the camera. This reduces the costs and the structural complexity of the camera system.
  • the use of injection-molded lenses enables individual elements of the optics to be combined, which results in a further reduction in costs.
  • a dishwasher is presented with an image acquisition device for acquiring the interior of the sink, the interior of the sink being lockable with a door.
  • the image acquisition device has an image sensor with a first sensor area for providing first sensor signals and a second sensor area for providing second sensor signals.
  • the image capturing device comprises an optical device for guiding first light incident from a first interior area onto the first sensor area and second light incident from a second interior area onto the second sensor area.
  • the first interior area and the second interior area are spaced apart from one another.
  • the image acquisition device an image processing device which is designed to provide a first image, using the first sensor signals, which depicts the first interior area, and, using the second sensor signals, a second image which depicts the second interior area.
  • the dishwasher can be, for example, a dishwasher with various load carriers for items to be washed, for example an upper basket, a lower basket and a cutlery drawer.
  • a camera for example, can be built into the washing device as part of the image acquisition device.
  • the image sensor can be a sensor typically used in digital cameras with an array of pixels for capturing light.
  • the optical device can optically divide the area captured by the image capture device, which can also be referred to as the field of view of the camera, into two interior areas, the first interior area being sensed by the first sensor area of the image sensor and the second interior area being sensed by the second sensor area.
  • the image processing device is designed to provide corresponding images of the interior of the sink.
  • Such an image acquisition device can advantageously be used to implement multi-perspective optics for a static camera.
  • a movable camera can be dispensed with, the mechanics of which would under certain circumstances be subject to high mechanical loads, for example if the door is inadvertently slammed shut by users of the device.
  • a not inconsiderable structural effort would have to be made in the case of a movable camera so that the mechanics would not be damaged.
  • Such an outlay is advantageously not necessary in the case of the image acquisition device presented here.
  • the first sensor area and the second sensor area can directly adjoin one another.
  • half of the pixels of the image sensor can sense the incident first light from the first interior area of the sink interior and provide a corresponding first sensor signal, while the other half of the pixels can sense the incident second light and provide a corresponding second sensor signal.
  • both the first sensor area and the second sensor area can be arranged together on an image sensor, whereby material and costs can be saved.
  • the image capturing device can have a housing in which the image sensor and the optical device can be arranged in a rigidly attached manner.
  • a housing can be shaped in order to protect the image sensor and the optical device from moisture and additionally or alternatively from vibrations.
  • the image sensor and the optical device can be arranged rigidly and immovably in the housing, which advantageously enables the use of an inexpensive camera and the work involved in installing the image acquisition device can be kept as low as possible.
  • the housing can be arranged rigidly on the door.
  • the housing, and with it the image sensor and the optical device can be installed in the door between an outer door panel and an inner door panel with a view of a rear panel or a rear wall of the interior.
  • the inner door panel can have an opening, for example, which enables the interior of the sink to be captured by the image capturing device.
  • the dishwasher can comprise an upper basket and a lower basket, wherein when the dishwasher is ready for operation, the upper basket can be arranged in the first interior area and the lower basket can be arranged in the second interior area.
  • the field of view of the image acquisition device can be divided horizontally into two halves when the flushing device is ready for operation.
  • the halves can optimally represent the upper basket and the lower basket, and thus also the respective items to be washed, as well as a central spray arm.
  • items to be washed such as dishes, for example, can advantageously be distributed evenly in the washing machine and yet reliably detected by the image recording device.
  • the optical device can comprise a first mirror element for deflecting the first light and a second mirror element for deflecting the second light.
  • two mirrors that are installed directly in the detection area, or field of view, of the image detection device can split the detection area horizontally in two halves onto two further mirrors, which can be arranged at a somewhat steeper angle.
  • both the first interior area and the second interior area can advantageously be completely covered.
  • the optical device can comprise at least one prism for deflecting the first light and the second light.
  • the prism can, for example, divide the camera's field of view horizontally into two halves by directing the light incident from the wash cabinet accordingly.
  • the halves can optimally represent an upper basket and a lower basket and thus also the respective items to be washed, as well as the middle spray arm.
  • the number of components used can be reduced by using a prism, thus saving work.
  • the image processing device can be designed to rotate the first image and the second image before providing them. Since, unlike attachments for 3D photos on smartphones, the motifs, for example the upper and lower basket, are on top of each other, the image sensor can be arranged in portrait format in order to achieve the best possible coverage of both superimposed motifs on the sensor. In this way, an image can be created on the sensor that, in the case of two motifs, can be divided in the middle and can show one motif on one side and the second motif on the other.
  • the raw camera image in the 3: 4 page format i.e. a portrait orientation, can show an image of the upper basket in the upper half and an image of the lower basket in the lower half.
  • the partial images can be upside down.
  • the image can therefore be divided into its two views in the middle and these can be rotated by 180 ° in order to align the images correctly.
  • the overall image can also be aligned first and then divided horizontally into its two views.
  • An image that is visible to a user can advantageously correspond in its orientation to the real orientation of the flushing device.
  • the flushing device can have an evaluation device for evaluating the first image and the second image provided by the image processing device , the amount of soiling or the type of soiling of the items to be washed on the respective load carriers.
  • the evaluation can be carried out separately for individual load carriers, such as the upper basket and lower basket.
  • the control device of the washing device can be set up to select a washing program and / or to change or adapt it while the washing program is running, depending on the results of the evaluation device.
  • the flushing device can have a display device for displaying the first image and the second image provided by the image processing device.
  • the display unit can be, for example, a display that can be arranged on an outer surface of the dishwasher and on which the images of the interior of the sink captured by the image capture device can be displayed.
  • the image acquisition device can have a transmission device for sending the first image and the second image to a mobile device.
  • the transmitting device can, for example, send the images captured by the image capturing device to a mobile device, such as a smartphone or a tablet, by means of a wireless connection.
  • a user can advantageously view and monitor the flushing process and related information at any time and from any location.
  • the device described here can be used accordingly in connection with a commercial or professional appliance.
  • FIG. 1 shows a schematic representation of a section of a flushing device with an embodiment of an image capturing device 100 with a mirrored optical device 105.
  • the image capturing device 100 is partially enclosed by a housing 107, the image capturing device 100 being rigid and immovable in the housing 107 and the housing 107 being rigid is arranged in a door 110 of a dishwasher.
  • This arrangement reduces a negative effect of a user opening or slamming the door 110 on the mechanics of the image capturing device 100 to a minimum.
  • the image capturing device 100 is arranged between an outer door panel 112 and an inner door panel 114, only by way of example, so that the image capturing device 100 captures the interior of the sink 115 of the dishwasher.
  • part of the door inner panel 114 is shaped as a permeable pane, through which light from the sink interior 115 can fall onto the image capturing device 100.
  • the interior of the sink 115 of the dishwasher has a first interior area 117 and a second interior area 120, the first interior area 117 and the second interior area 120 being spaced from one another.
  • the optical device 105 is designed to detect first light 119 originating from the first interior area 117 and second light 122 originating from the second interior area 120.
  • the first light 119 falls on a first mirror element 125 of the optical device 105 and is deflected by the first mirror element 125 onto an optional further first mirror element 127.
  • the first mirror element 125 and the further first mirror element 127 are arranged in such a way that the first light 119 is guided in the direction of an image sensor 130 and hits a first sensor area 132 here.
  • the second light 122 is directed to a second sensor area 134 of the image sensor 130, in that the second light 122 is deflected by a second mirror element 135 and a further second mirror element 137.
  • the first sensor area 132 and the second sensor area 134 directly adjoin one another.
  • a row of the image sensor 130 is assigned to the first sensor area 132 and a line directly adjacent to it of the image sensor 130 is assigned to the second sensor area 134.
  • the assignment of the pixels of the image sensor 130 to the first sensor area 132 and the second sensor area 134 is, according to an exemplary embodiment, dependent on the optical device 105 and is previously known.
  • the image sensor 130 is designed to provide first sensor signals 140 corresponding to the incident first light 119 on the first sensor area 122 and second sensor signals 142 to an image processing device 145 corresponding to the incident second light 122 on the second sensor area 134.
  • the image processing device 145 is designed to use the first sensor signals 140 to provide a corresponding image that depicts the first interior area and to use the second sensor signals 142 to provide a corresponding image that depicts the second interior area 120.
  • FIG 2 shows a schematic representation of an embodiment of a flushing device 200 with an image acquisition device 100 with a mirrored optical device 105. This can be the one in Figure 1 act described image capturing device and the optical device described.
  • the detection device 100 is arranged in a door 110, the door 110 closing a sink interior 115 of the dishwasher 200.
  • an upper basket 205 and a spray arm 210 are arranged in the first interior area 117 of the sink interior 115.
  • a lower basket 215 is arranged in the second interior area 120 in this exemplary embodiment.
  • items 220 are arranged in both the upper basket 205 and in the lower basket 215, which can be cups and plates, for example.
  • the image capturing device 100 is designed to capture the first interior area 117 and the second interior area 120 and to provide corresponding image information for a display device 225 of the flushing device 200.
  • the display device 225 is designed as a display in the door 110 of the dishwasher 200.
  • a display device arranged externally to the flushing device 200 can also be used.
  • the image acquisition device 100 which can also be referred to as a camera and optics, is installed in the door 110 between the door outer panel 112 and the door inner panel 114 with a view of a rear wall 230, which can also be referred to as the rear panel, of the sink interior 115.
  • two mirrors or mirror elements 127, 137 which are installed directly in the field of view of the camera, divide the field of view of the camera horizontally in two halves onto two further mirror elements 125, 135. These are arranged at a somewhat steeper angle merely by way of example and capture the beam paths of the first light 119 and of the second light 122 that emanate from the first interior area 117 and the second interior area 120 go out. This results in an optimal view of the baskets, which are arranged in the first interior area 117 and the second interior area 120, and the respective items to be washed 220, as well as the central spray arm 210 below the upper basket 205, for both halves of the image.
  • Figure 3 shows a schematic representation of an embodiment of an image capture device 100 with a prism 300. This can be the image capture device described in the previous figures, the prism 300 being used instead of or as a supplement to the mirrors mentioned.
  • the image capturing device 100 is installed in the door 110 between the door outer panel 112 and the door inner panel 114, looking towards the rear wall 230 of the sink interior 115.
  • the optical device 105 comprises the prism 300 for splitting the beam path to the image sensor 130 instead of the mirror elements described in the previous figures.
  • the prism 300 divides the field of view of the image capturing device 100 horizontally into two halves merely as an example.
  • the first interior area 117 and the second interior area 120 are captured by the image capturing device 100.
  • the upper basket 205 which is only arranged in the first interior area 117 as an example, and the lower basket 215, which is only arranged as an example in the second interior area 120, as well as the items to be washed 220 in the racks and the spray arm 210 are also recorded and optionally displayed as images on the display device 225.
  • the image acquisition device 100 in this exemplary embodiment comprises a transmission device 305 for sending images of the sink interior 115 to a mobile device 310, which is a smartphone only by way of example.
  • FIG 4 shows a schematic representation of an exemplary embodiment of a raw camera image 400.
  • the basic structure of the resulting image on the image sensor described above which can also be referred to as a camera sensor, is shown in portrait orientation. Only in the following steps, which are subsequently in the following Figures 5 and 6 are described, the camera raw image 400 shown here is processed further.
  • the raw camera image 400 shown in this figure consists of an upper partial image 405 and a lower partial image 410, both of which are directly adjacent to one another.
  • the motifs shown in the upper partial image 405 and in the lower partial image 410 which are only exemplarily designed as upper basket 205 and lower basket 215, are superimposed. Therefore, the image sensor described in the previous figures is arranged in portrait format in order to achieve the best possible coverage of the two superimposed motifs on the sensor.
  • This creates a raw camera image 400 which can also be referred to as an image, which is divided in the middle in the case of two motifs and shows one motif on one side and the second motif on the other.
  • the raw camera image 400 in the 3: 4 page format which corresponds to a portrait orientation, shows the upper basket 205 in the upper partial image 405 and the lower basket 215 in the lower partial image 410. Due to the non-parallel beam path and the reflections in the Prism as it is in Figure 3 has been described, or on mirror elements, as in Figures 1 and 2 described, the partial images 405, 410 of the camera raw image 400 are upside down in this exemplary embodiment.
  • Figure 5 shows a schematic illustration of a first image 500 of the first interior area 117 Figure 1
  • the image processing device 145 described in FIG Figure 4 The raw camera image described is divided into its two partial images for further processing and rotated by 180 ° in order to align the images correctly.
  • the overall image can also be aligned first and then divided horizontally into its two views.
  • the first image 500 shown in this figure shows the first interior area 117 of the in FIG Figures 1 to 3 described sink interior, which in this embodiment has an upper basket 205 with items to be washed 220 arranged therein and a spray arm 210.
  • the first image 500 shown here can be displayed in a display device, as in FIGS Figures 2 and 3 are described, displayed for a user and / or evaluated by image processing algorithms for certain features (degree of loading, soiling, types of loading, etc.). Depending on the evaluation of these features, the course of the cleaning process can be changed or adapted.
  • Figure 6 shows a schematic representation of a second image 600 of the second interior area 120. Analogous to that in FIG Figure 5 The first image described is also the second image 600 in comparison to the one in FIG Figure 4 described camera raw image shown rotated by 180 °.
  • the second image 600 shows, by way of example only, a lower basket 215 arranged in the second interior area 120 with items to be washed 220 arranged therein.
  • the second image 600 shown here can be used together with the in Figure 5 described first image in a display device, as in the Figures 2 and 3 are described, displayed for a user and / or evaluated by image processing algorithms for certain features (degree of loading, soiling, types of loading, etc.). Depending on the evaluation of these features, the course of the cleaning process can be changed or adapted.
  • different filters can be applied to the individual views at this point in order to optimize the individual display of the images for further processing by image recognition algorithms.

Abstract

Ein Spülgerät mit einer Bilderfassungseinrichtung (100) zum Erfassen eines Spülinnenraums (115), wobei der Spülinnenraum (115) mit einer Tür (110) verschließbar ist. Die Bilderfassungseinrichtung (100) weist dabei einen Bildsensor (130) auf, mit einem ersten/zweiten Sensorbereich (132/134) zum Bereitstellen erster/zweiter Sensorsignale (140/142). Zudem umfasst die Bilderfassungseinrichtung (100) eine Optikeinrichtung (105) zum Leiten von aus einem ersten Innenraumbereich (117) einfallenden ersten Lichts (119) auf den ersten Sensorbereich (132) und von einem zweiten Innenraumbereich (120) einfallenden zweiten Lichts (122) auf den zweiten Sensorbereich (134). Dabei sind der erste Innenraumbereich (117) und der zweite Innenraumbereich (120) von einender beabstandet. Zudem weist die Bilderfassungseinrichtung (100) eine Bildverarbeitungseinrichtung (145) auf, die ausgebildet ist, um unter Verwendung der ersten Sensorsignale (140) ein erstes Bild, das den ersten Innenraumbereich (117) abbildet, und unter Verwendung der zweiten Sensorsignale (142) ein zweites Bild, das den zweiten Innenraumbereich (120) abbildet, bereitzustellen.

Figure imgaf001
A flushing device with an image acquisition device (100) for capturing a sink interior (115), wherein the sink interior (115) can be closed with a door (110). The image acquisition device (100) has an image sensor (130) with a first / second sensor area (132/134) for providing first / second sensor signals (140/142). The image capturing device (100) also comprises an optical device (105) for guiding first light (119) incident from a first interior area (117) onto the first sensor area (132) and second light (122) incident from a second interior area (120) the second sensor area (134). The first interior area (117) and the second interior area (120) are spaced apart from one another. In addition, the image acquisition device (100) has an image processing device (145) which is designed to use the first sensor signals (140) to enter a first image that depicts the first interior area (117) and the second sensor signals (142) to provide a second image that depicts the second interior area (120).
Figure imgaf001

Description

Die Erfindung betrifft ein Spülgerät mit einer BilderfassungseinrichtungThe invention relates to a flushing device with an image acquisition device

Ein Spülinnenraum eines Geschirrspülers ist mittels einer Kamera und der entsprechenden Bildauswertung überwachbar, um den Beladungsgrad, Beladungsarten, Anschmutzungsgrad und -arten, etc. zur Verbesserung der Spülperformance optisch zu überwachen und auszuwerten.The interior of a dishwasher can be monitored by means of a camera and the corresponding image evaluation in order to optically monitor and evaluate the load level, load types, degree and types of soiling, etc. in order to improve the washing performance.

Der Erfindung stellt sich die Aufgabe, ein verbessertes Spülgerät mit einer verbesserten Bilderfassungseinrichtung zu schaffen.The object of the invention is to create an improved flushing device with an improved image capturing device.

Erfindungsgemäß wird diese Aufgabe durch ein Spülgerät mit einer Bilderfassungseinrichtung mit den Merkmalen der Hauptansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den nachfolgenden Unteransprüchen.According to the invention, this object is achieved by a flushing device with an image capturing device with the features of the main claims. Advantageous refinements and developments of the invention emerge from the following subclaims.

Die mit der Erfindung erreichbaren Vorteile bestehen neben einem vergrößerten Blickwinkel einer statischen Kamera in einer Einsparung von Kosten und Material, sowie einer erhöhten Stabilität sowohl der Bilderfassungseinrichtung als auch des Teilbereichs des Spülgeräts, in dem die Bilderfassungseinrichtung verbaut ist. Dabei kommt die Bilderfassungseinrichtung des hier vorgestellten Spülgeräts ohne zusätzlich bewegliche mechanische Elemente aus, ermöglicht aber trotzdem das Erfassen der Ansichten von Ober- und Unterkorb samt Spülgut. Somit ist es nicht erforderlich, dass die Kamera auf diverse Weisen mechanisch verfahrbar ist, um eine großflächige visuelle Abdeckung zu erreichen und einen eingeschränkten Blickwinkel der Kamera zu vergrößern. Dies reduziert die Kosten und die konstruktive Komplexität des Kamerasystems. Gleichzeitig ermöglicht die Nutzung von Spritzgusslinsen das Zusammenfassen einzelner Elemente der Optik, was eine weitere Kostenreduktion zur Folge hat.The advantages that can be achieved with the invention include, in addition to an enlarged viewing angle of a static camera, a saving in costs and material, as well as increased stability of both the image capturing device and the sub-area of the flushing device in which the image capturing device is installed. The image acquisition device of the dishwasher presented here manages without additional movable mechanical elements, but nevertheless enables the acquisition of the views of the upper and lower basket including the items to be washed. It is therefore not necessary for the camera to be mechanically displaceable in various ways in order to achieve large-area visual coverage and to enlarge a restricted viewing angle of the camera. This reduces the costs and the structural complexity of the camera system. At the same time, the use of injection-molded lenses enables individual elements of the optics to be combined, which results in a further reduction in costs.

Es wird ein Spülgerät mit einer Bilderfassungseinrichtung zum Erfassen eines Spülinnenraums vorgestellt, wobei der Spülinnenraum mit einer Tür verschließbar ist. Die Bilderfassungseinrichtung weist dabei einen Bildsensor auf, mit einem ersten Sensorbereich zum Bereitstellen erster Sensorsignale und einem zweiten Sensorbereich zum Bereitstellen zweiter Sensorsignale. Zudem umfasst die Bilderfassungseinrichtung eine Optikeinrichtung zum Leiten von aus einem ersten Innenraumbereich einfallenden ersten Lichts auf den ersten Sensorbereich und von einem zweiten Innenraumbereich einfallenden zweiten Lichts auf den zweiten Sensorbereich. Dabei sind der erste Innenraumbereich und der zweite Innenraumbereich von einander beabstandet. Zudem weist die Bilderfassungseinrichtung eine Bildverarbeitungseinrichtung auf, die ausgebildet ist, um unter Verwendung der ersten Sensorsignale ein erstes Bild, das den ersten Innenraumbereich abbildet, und unter Verwendung der zweiten Sensorsignale ein zweites Bild, das den zweiten Innenraumbereich abbildet, bereitzustellen.A dishwasher is presented with an image acquisition device for acquiring the interior of the sink, the interior of the sink being lockable with a door. The image acquisition device has an image sensor with a first sensor area for providing first sensor signals and a second sensor area for providing second sensor signals. In addition, the image capturing device comprises an optical device for guiding first light incident from a first interior area onto the first sensor area and second light incident from a second interior area onto the second sensor area. The first interior area and the second interior area are spaced apart from one another. In addition, the image acquisition device an image processing device which is designed to provide a first image, using the first sensor signals, which depicts the first interior area, and, using the second sensor signals, a second image which depicts the second interior area.

Bei dem Spülgerät kann es sich beispielsweise um einen Geschirrspüler mit verschiedenen Beladungsträgern für Spülgut, zum Beispiel einem Oberkorb, einem Unterkorb und einer Besteckschublade, handeln. Um das in den Beladungsträgern angeordnete Spülgut, wie zum Beispiel Geschirr, Besteck oder Töpfe, sowie den Spülvorgang optisch zu überwachen, kann als Bestandteil der Bilderfassungseinrichtung beispielsweise eine Kamera in das Spülgerät eingebaut werden. Bei dem Bildsensor kann es sich um einen typischerweise in digitalen Kameras verwendeten Sensor mit einem Feld aus Pixeln zum Erfassen von Licht handeln. Dabei kann die Optikeinrichtung den von der Bilderfassungseinrichtung erfassten Bereich, der auch als Sichtfeld der Kamera bezeichnet werden kann, optisch in zwei Innenraumbereiche aufteilen, wobei der erste Innenraumbereich von dem ersten Sensorbereich des Bildsensors sensiert wird und der zweite Innenraumbereich von dem zweiten Sensorbereich. In einem folgenden Schritt ist die Bildverarbeitungseinrichtung dazu ausgebildet, entsprechende Bilder des Spülinnenraums bereitzustellen. Durch eine solche Bilderfassungseinrichtung kann vorteilhafterweise eine multi-perspektivische Optik einer statischen Kamera realisiert werden. Dadurch kann beispielsweise auf eine verfahrbare Kamera verzichtet werden, deren Mechanik unter Umständen starken mechanischen Belastungen unterliegen würde, zum Beispiel wenn die Tür von Nutzern des Gerätes unbeabsichtigt stark zugeschlagen wird. Um solchen physikalischen Belastungen standhalten zu können, müsste bei einer verfahrbaren Kamera ein nicht unerheblicher konstruktiver Aufwand betrieben werden, damit die Mechanik keinen Schaden nehmen würde. Ein solcher Aufwand ist bei der hier vorgestellten Bilderfassungseinrichtung vorteilhafterweise nicht nötig. Auch können zusätzliche Öffnungen in einem Türinnenblech der Tür des Spülgeräts weitgehend vermieden werden. Stattdessen können mit einer entsprechend gestalteten statischen Optik zwei oder mehr verschiedene Ansichten des Spülinnenraums eines Geschirrspülers mit dem Bildsensor gleichzeitig erfasst werden, sodass weder mehrere Kameras, noch zusätzliche mechanische Bauteile benötigt werden.The dishwasher can be, for example, a dishwasher with various load carriers for items to be washed, for example an upper basket, a lower basket and a cutlery drawer. In order to optically monitor the items to be washed, such as dishes, cutlery or pots, and the washing process, which are arranged in the load carriers, a camera, for example, can be built into the washing device as part of the image acquisition device. The image sensor can be a sensor typically used in digital cameras with an array of pixels for capturing light. The optical device can optically divide the area captured by the image capture device, which can also be referred to as the field of view of the camera, into two interior areas, the first interior area being sensed by the first sensor area of the image sensor and the second interior area being sensed by the second sensor area. In a subsequent step, the image processing device is designed to provide corresponding images of the interior of the sink. Such an image acquisition device can advantageously be used to implement multi-perspective optics for a static camera. As a result, for example, a movable camera can be dispensed with, the mechanics of which would under certain circumstances be subject to high mechanical loads, for example if the door is inadvertently slammed shut by users of the device. In order to be able to withstand such physical loads, a not inconsiderable structural effort would have to be made in the case of a movable camera so that the mechanics would not be damaged. Such an outlay is advantageously not necessary in the case of the image acquisition device presented here. Additional openings in an inner door panel of the door of the dishwasher can also be largely avoided. Instead, with appropriately designed static optics, two or more different views of the interior of a dishwasher can be captured with the image sensor at the same time, so that neither several cameras nor additional mechanical components are required.

Gemäß einer Ausführungsform können der erste Sensorbereich und der zweite Sensorbereich direkt aneinander angrenzen. Beispielsweise kann eine Hälfte der Pixel des Bildsensors das einfallende erste Licht aus dem ersten Innenraumbereich des Spülinnenraums sensieren und ein entsprechendes erstes Sensorsignal bereitstellen, während die andere Hälfte der Pixel das einfallende zweite Licht sensieren und ein entsprechendes zweites Sensorsignal bereitstellen kann. Vorteilhafterweise können sowohl der erste Sensorbereich als auch der zweite Sensorbereich gemeinsam auf einem Bildsensor angeordnet sein, wodurch Material und Kosten eingespart werden können.According to one embodiment, the first sensor area and the second sensor area can directly adjoin one another. For example, half of the pixels of the image sensor can sense the incident first light from the first interior area of the sink interior and provide a corresponding first sensor signal, while the other half of the pixels can sense the incident second light and provide a corresponding second sensor signal. Advantageously, both the first sensor area and the second sensor area can be arranged together on an image sensor, whereby material and costs can be saved.

Gemäß einer weiteren Ausführungsform kann die Bilderfassungseinrichtung ein Gehäuse aufweisen, in dem der Bildsensor und die Optikeinrichtung starr befestigt angeordnet sein können. Beispielsweise kann ein solches Gehäuse ausgeformt sein, um den Bildsensor und die Optikeinrichtung vor Nässe und zusätzlich oder alternativ vor Erschütterungen zu schützen. Dabei können der Bildsensor und die Optikeinrichtung starr und unbeweglich in dem Gehäuse angeordnet sein, wodurch vorteilhafterweise die Verwendung einer kostengünstigen Kamera ermöglicht und der Arbeitsaufwand beim Einbau der Bilderfassungseinrichtung möglichst gering gehalten werden kann.According to a further embodiment, the image capturing device can have a housing in which the image sensor and the optical device can be arranged in a rigidly attached manner. For example, such a housing can be shaped in order to protect the image sensor and the optical device from moisture and additionally or alternatively from vibrations. The image sensor and the optical device can be arranged rigidly and immovably in the housing, which advantageously enables the use of an inexpensive camera and the work involved in installing the image acquisition device can be kept as low as possible.

Zudem kann das Gehäuse starr an der Tür angeordnet sein. Beispielsweise kann das Gehäuse, und mit ihm der Bildsensor und die Optikeinrichtung, in der Tür zwischen einem Türaußenblech und einem Türinnenblech mit Blick auf ein hinteres Blech, beziehungsweise eine Rückwand, des Innenraumes verbaut sein. Das Türinnenblech kann dabei beispielsweise eine Öffnung aufweisen, die das Erfassen des Spülinnenraums durch die Bilderfassungseinrichtung ermöglicht. Durch die starre Fixierung des Gehäuses an der Tür kann vorteilhafterweise die Anzahl der erforderlichen Öffnungen minimiert werden, wodurch die Stabilität der gesamten Tür erhöht werden kann.In addition, the housing can be arranged rigidly on the door. For example, the housing, and with it the image sensor and the optical device, can be installed in the door between an outer door panel and an inner door panel with a view of a rear panel or a rear wall of the interior. The inner door panel can have an opening, for example, which enables the interior of the sink to be captured by the image capturing device. As a result of the rigid fixing of the housing on the door, the number of openings required can advantageously be minimized, whereby the stability of the entire door can be increased.

Gemäß einer Ausführungsform kann das Spülgerät einen Oberkorb und einen Unterkorb umfassen, wobei in einem betriebsbereiten Zustand des Spülgeräts der Oberkorb im ersten Innenraumbereich und der Unterkorb im zweiten Innenraumbereich angeordnet sein kann. Beispielsweise kann das Blickfeld der Bilderfassungseinrichtung im betriebsbereiten Zustand des Spülgeräts horizontal in zwei Hälften geteilt werden. Die Hälften können optimalerweise den Oberkorb und den Unterkorb, und somit auch das jeweilige Spülgut, sowie einen mittleren Sprüharm abbilden. Vorteilhafterweise kann somit Spülgut, wie beispielsweise Geschirr, gleichmäßig im Spülgerät verteilt und dennoch sicher von der Bilderfassungseinrichtung erfasst werden.According to one embodiment, the dishwasher can comprise an upper basket and a lower basket, wherein when the dishwasher is ready for operation, the upper basket can be arranged in the first interior area and the lower basket can be arranged in the second interior area. For example, the field of view of the image acquisition device can be divided horizontally into two halves when the flushing device is ready for operation. The halves can optimally represent the upper basket and the lower basket, and thus also the respective items to be washed, as well as a central spray arm. Thus, items to be washed, such as dishes, for example, can advantageously be distributed evenly in the washing machine and yet reliably detected by the image recording device.

Gemäß einer Ausführungsform kann die Optikeinrichtung ein erstes Spiegelelement zum Umlenken des ersten Lichts und ein zweites Spiegelelement zum Umlenken des zweiten Lichts umfassen. Beispielsweise können zwei Spiegel, die direkt im Erfassungsbereich, oder Blickfeld, der Bilderfassungseinrichtung verbaut sind, den Erfassungsbereich horizontal in zwei Hälften auf zwei weitere Spiegel aufteilen, die in einem etwas steileren Winkel angeordnet sein können. Dadurch können vorteilhafterweise sowohl der erste Innenraumbereich als auch der zweite Innenraumbereich vollständig erfasst werden.According to one embodiment, the optical device can comprise a first mirror element for deflecting the first light and a second mirror element for deflecting the second light. For example, two mirrors that are installed directly in the detection area, or field of view, of the image detection device can split the detection area horizontally in two halves onto two further mirrors, which can be arranged at a somewhat steeper angle. As a result, both the first interior area and the second interior area can advantageously be completely covered.

Gemäß einer weiteren Ausführungsform kann die Optikeinrichtung mindestens ein Prisma zum Umlenken des ersten Lichts und des zweiten Lichts umfassen. Das Prisma kann zum Beispiel das Blickfeld der Kamera horizontal in zwei Hälften teilen, indem das aus dem Spülraum einfallende Licht entsprechend gelenkt wird. Die Hälften können optimal einen Oberkorb und einen Unterkorb und somit auch das jeweilige Spülgut, sowie den mittleren Sprüharm abbilden. Vorteilhafterweise kann durch die Verwendung eines Prismas die Anzahl der verwendeten Bauteile reduziert und somit Arbeitsaufwand eingespart werden.According to a further embodiment, the optical device can comprise at least one prism for deflecting the first light and the second light. The prism can, for example, divide the camera's field of view horizontally into two halves by directing the light incident from the wash cabinet accordingly. The halves can optimally represent an upper basket and a lower basket and thus also the respective items to be washed, as well as the middle spray arm. Advantageously, the number of components used can be reduced by using a prism, thus saving work.

Zudem kann die Bildverarbeitungseinrichtung ausgebildet sein, das erste Bild und das zweite Bild vor dem Bereitstellen zu drehen. Da, anders als bei Aufsätzen für 3D-Fotos bei Smartphones, die Motive, zum Beispiel Ober- und Unterkorb, übereinander liegen, kann der Bildsensor im Hochformat angeordnet sein, um eine möglichst gute Abdeckung beider übereinanderliegender Motive auf dem Sensor zu erzielen. So kann auf dem Sensor ein Abbild entstehen, das, bei zwei Motiven, mittig geteilt sein kann und auf der einen Seite das eine Motiv, auf der anderen das zweite Motiv zeigen kann. Beispielsweise kann das Kamerarohbild im Seitenformat 3:4, also einer Portraitausrichtung, in der oberen Hälfte ein Bild des Oberkorbes und in der unteren ein Bild des Unterkorbes zeigen. Aufgrund eines durch die Fischaugenoptik mit asphärischer Frontallinse verursachten nicht-parallelen Strahlengangs und der Reflektionen im Prisma oder an den Spiegeln, können die Teilbilder jeweils auf dem Kopf stehen. Zur weiteren Verarbeitung kann daher das Abbild mittig in seine zwei Ansichten aufgeteilt werden und diese können um 180° gedreht werden, um die Bilder korrekt auszurichten. Analog kann auch erst das Gesamtbild ausgerichtet und anschließend horizontal in seine zwei Ansichten zerteilt werden. Vorteilhafterweise kann so ein für einen Nutzer sichtbares Bild in seiner Ausrichtung der realen Ausrichtung des Spülgeräts entsprechen.In addition, the image processing device can be designed to rotate the first image and the second image before providing them. Since, unlike attachments for 3D photos on smartphones, the motifs, for example the upper and lower basket, are on top of each other, the image sensor can be arranged in portrait format in order to achieve the best possible coverage of both superimposed motifs on the sensor. In this way, an image can be created on the sensor that, in the case of two motifs, can be divided in the middle and can show one motif on one side and the second motif on the other. For example, the raw camera image in the 3: 4 page format, i.e. a portrait orientation, can show an image of the upper basket in the upper half and an image of the lower basket in the lower half. Due to a non-parallel beam path caused by the fisheye optics with an aspherical front lens and the reflections in the prism or on the mirrors, the partial images can be upside down. For further processing, the image can therefore be divided into its two views in the middle and these can be rotated by 180 ° in order to align the images correctly. Similarly, the overall image can also be aligned first and then divided horizontally into its two views. An image that is visible to a user can advantageously correspond in its orientation to the real orientation of the flushing device.

Das Spülgerät kann eine Auswerteeinrichtung zum Auswerten des von der Bildverarbeitungseinrichtung bereitgestellten ersten Bilds und zweiten Bilds aufweisen Dabei kann die Auswerteeinrichtung dazu eingerichtet sein, die Bilder hinsichtlich einem oder mehrerer Merkmale auszuwerten, beispielsweise den Beladungsgrad der jeweiligen Beladungsträger, die Art der Beladung auf den jeweiligen Beladungsträgern, die Anschmutzungsmenge oder Anschmutzungsart des Spülgutes auf den jeweiligen Beladungsträgern. Die Auswertung kann dabei insbesondere für einzelne Beladungsträger, etwa Oberkorb und Unterkorb separat durchführbar sein. Die Steuereinrichtung des Spülgerätes kann dazu eingerichtet sein, abhängig von den Ergebnissen der Auswerteinrichtung, ein Spülprogramm auszuwählen und/oder während des Ablaufs des Spülprogramms zu verändern bzw. anzupassen.The flushing device can have an evaluation device for evaluating the first image and the second image provided by the image processing device , the amount of soiling or the type of soiling of the items to be washed on the respective load carriers. The evaluation can be carried out separately for individual load carriers, such as the upper basket and lower basket. The control device of the washing device can be set up to select a washing program and / or to change or adapt it while the washing program is running, depending on the results of the evaluation device.

Außerdem kann das Spülgerät eine Anzeigeeinrichtung zum Anzeigen des von der Bildverarbeitungseinrichtung bereitgestellten ersten Bilds und zweiten Bilds aufweisen. Bei der Anzeigeeinheit kann es sich zum Beispiel um ein Display handeln, das an einer Außenfläche des Spülgeräts angeordnet sein kann und auf dem die von der Bilderfassungseinrichtung erfassten Bilder des Spülinnenraums abgebildet werden können. Das hat den Vorteil, dass ein Nutzer jederzeit Einblick in den Vorgang innerhalb des Spülgeräts bekommen kann und somit beispielsweise den Beladungsgrad, Beladungsarten und zusätzlich oder alternativ Anschmutzungsgrad und -arten überwachen kann.In addition, the flushing device can have a display device for displaying the first image and the second image provided by the image processing device. The display unit can be, for example, a display that can be arranged on an outer surface of the dishwasher and on which the images of the interior of the sink captured by the image capture device can be displayed. This has the advantage that a user can get an insight into the process within the flushing device at any time and can thus monitor, for example, the load level, load types and, additionally or alternatively, the degree and type of soiling.

Gemäß einer weiteren Ausführungsform kann die Bilderfassungseinrichtung eine Sendeeinrichtung zum Senden des ersten Bilds und des zweiten Bilds an ein mobiles Gerät aufweisen. Die Sendeeinrichtung kann beispielsweise mittels einer Drahtlosverbindung die von der Bilderfassungseinrichtung erfassten Bilder an ein mobiles Gerät, wie zum Beispiel ein Smartphone oder ein Tablet senden. Somit kann ein Nutzer vorteilhafterweise den Spülvorgang und damit zusammenhängende Informationen jederzeit und von jedem Ort einsehen und überwachen.According to a further embodiment, the image acquisition device can have a transmission device for sending the first image and the second image to a mobile device. The transmitting device can, for example, send the images captured by the image capturing device to a mobile device, such as a smartphone or a tablet, by means of a wireless connection. Thus, a user can advantageously view and monitor the flushing process and related information at any time and from any location.

Auch wenn der beschriebene Ansatz anhand eines Haushaltgeräts beschrieben wird, kann die hier beschriebe Vorrichtung entsprechend im Zusammenhang mit einem gewerblichen oder professionellen Gerät eingesetzt werden.Even if the approach described is described using a household appliance, the device described here can be used accordingly in connection with a commercial or professional appliance.

Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen rein schematisch dargestellt und wird nachfolgend näher beschrieben. Es zeigt

Figur 1
eine schematische Darstellung eines Ausführungsbeispiels einer Bilderfassungseinrichtung mit einer verspiegelten Optikeinrichtung;
Figur 2
eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts mit einer Bilderfassungseinrichtung mit einer verspiegelten Optikeinrichtung;
Figur 3
eine schematische Darstellung eines Ausführungsbeispiels einer Bilderfassungseinrichtung mit einem Prisma;
Figur 4
eine schematische Darstellung eines Ausführungsbeispiels eines Kamerarohbilds;
Figur 5
eine schematische Darstellung eines ersten Bilds des ersten Innenraumbereichs; und
Figur 6
eine schematische Darstellung eines zweiten Bilds des zweiten Innenraumbereichs.
An embodiment of the invention is shown purely schematically in the drawings and is described in more detail below. It shows
Figure 1
a schematic representation of an embodiment of an image acquisition device with a mirrored optical device;
Figure 2
a schematic representation of an embodiment of a flushing device with an image capture device with a mirrored optical device;
Figure 3
a schematic representation of an embodiment of an image acquisition device with a prism;
Figure 4
a schematic representation of an embodiment of a camera raw image;
Figure 5
a schematic representation of a first image of the first interior area; and
Figure 6
a schematic representation of a second image of the second interior area.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of advantageous exemplary embodiments of the present approach, those shown in the various figures and which act in a similar manner are used Elements the same or similar reference numerals are used, a repeated description of these elements being dispensed with.

Figur 1 zeigt eine schematische Darstellung eines Abschnitts eines Spülgeräts mit einem Ausführungsbeispiel einer Bilderfassungseinrichtung 100 mit einer verspiegelten Optikeinrichtung 105. In diesem Ausführungsbeispiel ist die Bilderfassungseinrichtung 100 von einem Gehäuse 107 teilweise umschlossen, wobei die Bilderfassungseinrichtung 100 starr und unbeweglich in dem Gehäuse 107 und das Gehäuse 107 starr in einer Tür 110 eines Spülgeräts angeordnet ist. Durch diese Anordnung wird eine negative Auswirkung von Öffnen oder Zuschlagen der Tür 110 von einem Nutzer auf die Mechanik der Bilderfassungseinrichtung 100 auf ein Minimum reduziert. Dabei ist die Bilderfassungseinrichtung 100 lediglich beispielhaft zwischen einem Türaußenblech 112 und einem Türinnenblech 114 angeordnet, so dass die Bilderfassungseinrichtung 100 den Spülinnenraum 115 des Spülgerät erfasst. Dazu ist in diesem Ausführungsbeispiel ein Teil des Türinnenblechs 114 als durchlässige Scheibe ausgeformt, durch die Licht aus dem Spülinnenraum 115 auf die Bilderfassungseinrichtung 100 fallen kann. Figure 1 shows a schematic representation of a section of a flushing device with an embodiment of an image capturing device 100 with a mirrored optical device 105. In this embodiment, the image capturing device 100 is partially enclosed by a housing 107, the image capturing device 100 being rigid and immovable in the housing 107 and the housing 107 being rigid is arranged in a door 110 of a dishwasher. This arrangement reduces a negative effect of a user opening or slamming the door 110 on the mechanics of the image capturing device 100 to a minimum. In this case, the image capturing device 100 is arranged between an outer door panel 112 and an inner door panel 114, only by way of example, so that the image capturing device 100 captures the interior of the sink 115 of the dishwasher. For this purpose, in this exemplary embodiment, part of the door inner panel 114 is shaped as a permeable pane, through which light from the sink interior 115 can fall onto the image capturing device 100.

Der Spülinnenraum 115 des Spülgeräts weist einen ersten Innenraumbereich 117 und einen zweiten Innenraumbereich 120 auf, wobei der erste Innenraumbereich 117 und der zweite Innenraumbereich 120 voneinander beabstandet sind. Die Optikeinrichtung 105 ist ausgebildet, um aus dem ersten Innenraumbereich 117 stammendes erstes Licht 119 und aus dem zweiten Innenraumbereich 120 stammendes zweites Licht 122 zu erfassen.The interior of the sink 115 of the dishwasher has a first interior area 117 and a second interior area 120, the first interior area 117 and the second interior area 120 being spaced from one another. The optical device 105 is designed to detect first light 119 originating from the first interior area 117 and second light 122 originating from the second interior area 120.

Das erste Licht 119 fällt in diesem Ausführungsbeispiel auf ein erstes Spiegelelement 125 der Optikeinrichtung 105 und wird von dem ersten Spiegelelement 125 auf ein optionales weiteres erstes Spiegelelement 127 umgelenkt. Dabei sind das erste Spiegelelement 125 und das weitere erste Spiegelelement 127 so angeordnet, dass das erste Licht 119 in Richtung eines Bildsensors 130 geleitet wird und hier auf einen ersten Sensorbereich 132 trifft. Entsprechend dieses Vorgangs wird in diesem Ausführungsbeispiel das zweite Licht 122 auf einen zweiten Sensorbereich 134 des Bildsensors 130 geleitet, indem das zweite Licht 122 von einem zweiten Spiegelelement 135 und einem weiteren zweiten Spiegelelement 137 umgelenkt wird.In this exemplary embodiment, the first light 119 falls on a first mirror element 125 of the optical device 105 and is deflected by the first mirror element 125 onto an optional further first mirror element 127. The first mirror element 125 and the further first mirror element 127 are arranged in such a way that the first light 119 is guided in the direction of an image sensor 130 and hits a first sensor area 132 here. Corresponding to this process, in this exemplary embodiment the second light 122 is directed to a second sensor area 134 of the image sensor 130, in that the second light 122 is deflected by a second mirror element 135 and a further second mirror element 137.

Gemäß einem Ausführungsbeispiel grenzen der erste Sensorbereich 132 und der zweite Sensorbereich 134 direkt aneinander. Beispielsweise ist eine Zeile des Bildsensors 130 dem ersten Sensorbereich 132 zugeordnet und eine direkt danebenliegende Zeile de Bildsensors 130 dem zweiten Sensorbereich 134 zugeordnet. Die Zuordnung der Pixel des Bildsensors 130 zu dem ersten Sensorbereich 132 und dem zweiten Sensorbereich 134 ist gemäß einem Ausführungsbeispiel abhängig von der Optikeinrichtung 105 und vorbekannt.According to one embodiment, the first sensor area 132 and the second sensor area 134 directly adjoin one another. For example, a row of the image sensor 130 is assigned to the first sensor area 132 and a line directly adjacent to it of the image sensor 130 is assigned to the second sensor area 134. The assignment of the pixels of the image sensor 130 to the first sensor area 132 and the second sensor area 134 is, according to an exemplary embodiment, dependent on the optical device 105 and is previously known.

Der Bildsensor 130 ist ausgebildet, um entsprechend des einfallenden ersten Lichts 119 auf den ersten Sensorbereich 122 erste Sensorsignale 140 und entsprechend des einfallenden zweiten Lichts 122 auf den zweiten Sensorbereich 134 zweite Sensorsignale 142 für eine Bildverarbeitungseinrichtung 145 bereitzustellen. Die Bildverarbeitungseinrichtung 145 ist ausgebildet, um unter Verwendung der ersten Sensorsignale 140 ein entsprechendes Bild bereitzustellen, das den ersten Innenraumbereich abbildet und unter Verwendung der zweiten Sensorsignale 142 ein entsprechendes Bild bereitzustellen, das den zweiten Innenraumbereich 120 abbildet.The image sensor 130 is designed to provide first sensor signals 140 corresponding to the incident first light 119 on the first sensor area 122 and second sensor signals 142 to an image processing device 145 corresponding to the incident second light 122 on the second sensor area 134. The image processing device 145 is designed to use the first sensor signals 140 to provide a corresponding image that depicts the first interior area and to use the second sensor signals 142 to provide a corresponding image that depicts the second interior area 120.

Figur 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts 200 mit einer Bilderfassungseinrichtung 100 mit einer verspiegelten Optikeinrichtung 105. Dabei kann es sich um die in Figur 1 beschriebene Bilderfassungseinrichtung und die beschriebene Optikeinrichtung handeln. Figure 2 shows a schematic representation of an embodiment of a flushing device 200 with an image acquisition device 100 with a mirrored optical device 105. This can be the one in Figure 1 act described image capturing device and the optical device described.

Auch in diesem Ausführungsbeispiel ist die Erfassungseinrichtung 100 in einer Tür 110 angeordnet, wobei die Tür 110 einen Spülinnenraum 115 des Spülgeräts 200 verschließt. Lediglich beispielhaft sind im ersten Innenraumbereich 117 des Spülinnenraums 115 ein Oberkorb 205 und ein Sprüharm 210 angeordnet. Zudem ist in diesem Ausführungsbeispiel im zweiten Innenraumbereich 120 ein Unterkorb 215 angeordnet. Lediglich beispielhaft ist sowohl im Oberkorb 205 als auch im Unterkorb 215 Spülgut 220 angeordnet, bei dem es sich beispielsweise um Tassen und Teller handeln kann. Die Bilderfassungseinrichtung 100 ist dazu ausgebildet den ersten Innenraumbereich 117 sowie den zweiten Innenraumbereich 120 zu erfassen und entsprechende Bildinformationen für eine Anzeigeeinrichtung 225 des Spülgeräts 200 bereitzustellen. In diesem Ausführungsbeispiel ist die Anzeigeeinrichtung 225 als Display in der Tür 110 des Spülgeräts 200 ausgeformt. Alternativ oder zusätzlich kann auch eine extern zu dem Spülgerät 200 angeordnete Anzeigeeinrichtung verwendet werden.In this exemplary embodiment, too, the detection device 100 is arranged in a door 110, the door 110 closing a sink interior 115 of the dishwasher 200. Merely by way of example, an upper basket 205 and a spray arm 210 are arranged in the first interior area 117 of the sink interior 115. In addition, a lower basket 215 is arranged in the second interior area 120 in this exemplary embodiment. Purely by way of example, items 220 are arranged in both the upper basket 205 and in the lower basket 215, which can be cups and plates, for example. The image capturing device 100 is designed to capture the first interior area 117 and the second interior area 120 and to provide corresponding image information for a display device 225 of the flushing device 200. In this exemplary embodiment, the display device 225 is designed as a display in the door 110 of the dishwasher 200. As an alternative or in addition, a display device arranged externally to the flushing device 200 can also be used.

Anders als bei den Kameraaufsätzen, bei denen ein Foto vom selben Motiv aus leicht versetzter Perspektive aufgenommen wird, wird hierbei ein Foto von zwei unterschiedlichen Motiven, beispielsweise vom Oberkorb 205 im ersten Innenraumbereich 117 und dem Unterkorb 215 im zweiten Innenraumbereich 120, gleichzeitig erzeugt. Dabei ist die Bilderfassungseinrichtung 100, die auch als Kamera samt Optik bezeichnet werden kann, in der Tür 110 zwischen dem Türaußenblech 112 und dem Türinnenblech 114 mit Blick auf eine Rückwand 230, die auch als hinteres Blech bezeichnet werden kann, des Spülinnenraumes 115 verbaut. In diesem Ausführungsbeispiel teilen zwei Spiegel oder Spiegelelemente 127, 137, die direkt im Blickfeld der Kamera verbaut sind, das Sichtfeld der Kamera horizontal in zwei Hälften auf zwei weitere Spiegelelemente 125, 135 auf. Diese sind lediglich beispielhaft in einem etwas steileren Winkel angeordnet und erfassen die Strahlengänge des ersten Lichts 119 und des zweiten Lichts 122, die von dem ersten Innenraumbereich 117 und dem zweiten Innenraumbereich 120 ausgehen. So ergibt sich für beide Bildhälften ein optimaler Blick auf die lediglich beispielhaft im ersten Innenraumbereich 117 und dem zweiten Innenraumbereich 120 angeordneten Körbe und das jeweilige Spülgut 220, sowie den mittleren Sprüharm 210 unterhalb des Oberkorbes 205.In contrast to the camera attachments, in which a photo of the same motif is taken from a slightly offset perspective, a photo of two different motifs, for example of the upper basket 205 in the first interior area 117 and the lower basket 215 in the second interior area 120, is generated at the same time. The image acquisition device 100, which can also be referred to as a camera and optics, is installed in the door 110 between the door outer panel 112 and the door inner panel 114 with a view of a rear wall 230, which can also be referred to as the rear panel, of the sink interior 115. In this exemplary embodiment, two mirrors or mirror elements 127, 137, which are installed directly in the field of view of the camera, divide the field of view of the camera horizontally in two halves onto two further mirror elements 125, 135. These are arranged at a somewhat steeper angle merely by way of example and capture the beam paths of the first light 119 and of the second light 122 that emanate from the first interior area 117 and the second interior area 120 go out. This results in an optimal view of the baskets, which are arranged in the first interior area 117 and the second interior area 120, and the respective items to be washed 220, as well as the central spray arm 210 below the upper basket 205, for both halves of the image.

Figur 3 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Bilderfassungseinrichtung 100 mit einem Prisma 300. Dabei kann es sich um die in den vorangegangenen Figuren beschriebene Bilderfassungseinrichtung handeln, wobei anstelle oder als Ergänzung zu den genannten Spiegeln das Prisma 300 verwendet wird. Figure 3 shows a schematic representation of an embodiment of an image capture device 100 with a prism 300. This can be the image capture device described in the previous figures, the prism 300 being used instead of or as a supplement to the mirrors mentioned.

Auch in diesem Ausführungsbeispiel ist die Bilderfassungseinrichtung 100 in der Tür 110 zwischen Türaußenblech 112 und Türinnenblech 114 mit Blickrichtung auf die Rückwand 230 des Spülinnenraumes 115 verbaut. Doch in diesem Ausführungsbeispiel umfasst die Optikeinrichtung 105 statt der in den vorangegangenen Figuren beschriebenen Spiegelelemente das Prisma 300 zum Teilen des Strahlengangs zum Bildsensor 130. Lediglich beispielhaft teilt das Prisma 300 das Blickfeld der Bilderfassungseinrichtung 100 horizontal in zwei Hälften. Somit wird analog zu den in den vorangegangenen Figuren beschriebenen Vorgängen der erste Innenraumbereich 117 sowie der zweite Innenraumbereich 120 von der Bilderfassungseinrichtung 100 erfasst. Dabei werden auch der lediglich beispielhaft im ersten Innenraumbereich 117 angeordnete Oberkorb 205 und der lediglich beispielhaft im zweiten Innenraumbereich 120 angeordnete Unterkorb 215 sowie das in den Körben befindliche Spülgut 220 und der Sprüharm 210 erfasst und optional als Bilder auf der Anzeigeeinrichtung 225 abgebildet. Zusätzlich umfasst die Bilderfassungseinrichtung 100 in diesem Ausführungsbeispiel eine Sendeeinrichtung 305 zum Senden von Bildern des Spülinnenraums 115 an ein mobiles Gerät 310, bei dem es sich lediglich beispielhaft um ein Smartphone handelt.In this exemplary embodiment, too, the image capturing device 100 is installed in the door 110 between the door outer panel 112 and the door inner panel 114, looking towards the rear wall 230 of the sink interior 115. In this exemplary embodiment, however, the optical device 105 comprises the prism 300 for splitting the beam path to the image sensor 130 instead of the mirror elements described in the previous figures. The prism 300 divides the field of view of the image capturing device 100 horizontally into two halves merely as an example. Thus, analogously to the processes described in the previous figures, the first interior area 117 and the second interior area 120 are captured by the image capturing device 100. The upper basket 205, which is only arranged in the first interior area 117 as an example, and the lower basket 215, which is only arranged as an example in the second interior area 120, as well as the items to be washed 220 in the racks and the spray arm 210 are also recorded and optionally displayed as images on the display device 225. In addition, the image acquisition device 100 in this exemplary embodiment comprises a transmission device 305 for sending images of the sink interior 115 to a mobile device 310, which is a smartphone only by way of example.

Grundsätzlich sind bei allen optischen Systemen durch Lichtbrechung verursachte Fehler zu berücksichtigen und möglichst zu korrigieren. Gerade bei Prismen kann es zum Beispiel zu chromatischen Aberrationen, also Farbfehlern, kommen, die, sollten sie sich störend auswirken, mit geeigneten Maßnahmen eliminiert werden können.In principle, errors caused by refraction of light must be taken into account in all optical systems and corrected as far as possible. In the case of prisms, for example, chromatic aberrations, i.e. color errors, can occur which, should they have a disruptive effect, can be eliminated with suitable measures.

Figur 4 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kamerarohbilds 400. In dieser Figur ist der grundsätzliche Aufbau des entstehenden Bildes auf dem zuvor beschriebenen Bildsensor, der auch als Kamerasensor bezeichnet werden kann, in Portraitausrichtung dargestellt. Erst in folgenden Schritten, die nachfolgend in den folgenden Figuren 5 und 6 beschriebenen werden, wird das hier abgebildete Kamerarohbild 400 weiter verarbeitet. Figure 4 shows a schematic representation of an exemplary embodiment of a raw camera image 400. In this figure, the basic structure of the resulting image on the image sensor described above, which can also be referred to as a camera sensor, is shown in portrait orientation. Only in the following steps, which are subsequently in the following Figures 5 and 6 are described, the camera raw image 400 shown here is processed further.

Das in dieser Figur gezeigte Kamerarohbild 400 besteht aus einem oberen Teilbild 405 und einem unteren Teilbild 410, die beide direkt aneinandergrenzen. Anders als bei Aufsätzen für 3D-Fotos, wie sie beispielsweise für Smartphones Verwendung finden, liegen die im oberen Teilbild 405 und im unteren Teilbild 410 dargestellten Motive, die lediglich beispielhaft als Oberkorb 205 und Unterkorb 215 ausgeführt sind, übereinander. Deshalb ist der in den vorangegangenen Figuren beschriebene Bildsensor im Hochformat angeordnet, um eine möglichst gute Abdeckung beider übereinanderliegender Motive auf dem Sensor zu erzielen. Es entsteht so ein Kamerarohbild 400, das auch als Abbild bezeichnet werden kann, das bei zwei Motiven mittig geteilt ist und auf der einen Seite das eine Motiv, auf der anderen das zweite Motiv zeigt. Lediglich beispielhaft zeigt das Kamerarohbild 400 im Seitenformat 3:4, das einer Portraitausrichtung entspricht, im oberen Teilbild 405 den Oberkorb 205 und im unteren Teilbild 410 den Unterkorb 215. Aufgrund des durch die Fischaugenoptik mit asphärischer Frontallinse verursachten nicht-parallelen Strahlengangs und den Reflektionen im Prisma, wie es in Figur 3 beschrieben wurde, oder an Spiegelelementen, wie in den Figuren 1 und 2 beschrieben, stehen die Teilbilder 405, 410 des Kamerarohbilds 400 in diesem Ausführungsbeispiel auf dem Kopf.The raw camera image 400 shown in this figure consists of an upper partial image 405 and a lower partial image 410, both of which are directly adjacent to one another. In contrast to attachments for 3D photos, such as those used for smartphones, for example, the motifs shown in the upper partial image 405 and in the lower partial image 410, which are only exemplarily designed as upper basket 205 and lower basket 215, are superimposed. Therefore, the image sensor described in the previous figures is arranged in portrait format in order to achieve the best possible coverage of the two superimposed motifs on the sensor. This creates a raw camera image 400, which can also be referred to as an image, which is divided in the middle in the case of two motifs and shows one motif on one side and the second motif on the other. The raw camera image 400 in the 3: 4 page format, which corresponds to a portrait orientation, shows the upper basket 205 in the upper partial image 405 and the lower basket 215 in the lower partial image 410. Due to the non-parallel beam path and the reflections in the Prism as it is in Figure 3 has been described, or on mirror elements, as in Figures 1 and 2 described, the partial images 405, 410 of the camera raw image 400 are upside down in this exemplary embodiment.

Figur 5 zeigt eine schematische Darstellung eines ersten Bilds 500 des ersten Innenraumbereichs 117. Durch die in Figur 1 beschriebene Bildverarbeitungseinrichtung 145 wird das in Figur 4 beschriebene Kamerarohbild zur weiteren Verarbeitung mittig in seine zwei Teilbilder aufgeteilt und diese um 180° gedreht, um die Bilder korrekt auszurichten. Alternativ kann in einem anderen Ausführungsbeispiel auch erst das Gesamtbild ausgerichtet und anschließend horizontal in seine zwei Ansichten zerteilt werden. Figure 5 shows a schematic illustration of a first image 500 of the first interior area 117 Figure 1 The image processing device 145 described in FIG Figure 4 The raw camera image described is divided into its two partial images for further processing and rotated by 180 ° in order to align the images correctly. Alternatively, in another exemplary embodiment, the overall image can also be aligned first and then divided horizontally into its two views.

Das in dieser Figur dargestellte erste Bild 500 zeigt den ersten Innenraumbereich 117 des in den Figuren 1 bis 3 beschriebenen Spülinnenraumes, der in diesem Ausführungsbeispiel einen Oberkorb 205 mit darin angeordnetem Spülgut 220 und einen Sprüharm 210 aufweist. Das hier dargestellte erste Bild 500 kann in einer Anzeigeeinrichtung, wie in den Figuren 2 und 3 beschrieben, für einen Nutzer angezeigt werden und/oder durch Bildverarbeitungsalgorithmen auf bestimmte Merkmale hin (Beladungsgrad, Anschmutzung, Beladungsarten, etc.) ausgewertet werden. Abhängig von der Auswertung dieser Merkmale kann der Verlauf des Reinigungsprozesses verändert oder angepasst werden.The first image 500 shown in this figure shows the first interior area 117 of the in FIG Figures 1 to 3 described sink interior, which in this embodiment has an upper basket 205 with items to be washed 220 arranged therein and a spray arm 210. The first image 500 shown here can be displayed in a display device, as in FIGS Figures 2 and 3 are described, displayed for a user and / or evaluated by image processing algorithms for certain features (degree of loading, soiling, types of loading, etc.). Depending on the evaluation of these features, the course of the cleaning process can be changed or adapted.

Figur 6 zeigt eine schematische Darstellung eines zweiten Bilds 600 des zweiten Innenraumbereichs 120. Analog zu dem in Figur 5 beschriebenen ersten Bild ist auch das zweite Bild 600 im Vergleich zu dem in Figur 4 beschriebenen Kamerarohbild um 180° gedreht dargestellt. Das zweite Bild 600 zeigt lediglich beispielhaft einen im zweiten Innenraumbereich 120 angeordneten Unterkorb 215 mit darin angeordnetem Spülgut 220. Figure 6 shows a schematic representation of a second image 600 of the second interior area 120. Analogous to that in FIG Figure 5 The first image described is also the second image 600 in comparison to the one in FIG Figure 4 described camera raw image shown rotated by 180 °. The second image 600 shows, by way of example only, a lower basket 215 arranged in the second interior area 120 with items to be washed 220 arranged therein.

Das hier dargestellte zweite Bild 600 kann zusammen mit dem in Figur 5 beschriebenen ersten Bild in einer Anzeigeeinrichtung, wie in den Figuren 2 und 3 beschrieben, für einen Nutzer angezeigt werden und/oder durch Bildverarbeitungsalgorithmen auf bestimmte Merkmale hin (Beladungsgrad, Anschmutzung, Beladungsarten, etc.) ausgewertet werden. Abhängig von der Auswertung dieser Merkmale kann der Verlauf des Reinigungsprozesses verändert oder angepasst werden.The second image 600 shown here can be used together with the in Figure 5 described first image in a display device, as in the Figures 2 and 3 are described, displayed for a user and / or evaluated by image processing algorithms for certain features (degree of loading, soiling, types of loading, etc.). Depending on the evaluation of these features, the course of the cleaning process can be changed or adapted.

Optional können an dieser Stelle unterschiedliche Filter auf die Einzelansichten angewendet werden, um die individuelle Darstellung der Abbilder für die Weiterverarbeitung durch Bilderkennungsalgorithmen zu optimieren.Optionally, different filters can be applied to the individual views at this point in order to optimize the individual display of the images for further processing by image recognition algorithms.

Claims (10)

Spülgerät (200) mit einer Bilderfassungseinrichtung (100) zum Erfassen eines Spülinnenraums (115), wobei der Spülinnenraum (115) mit einer Tür (110) verschließbar ist und wobei die Bilderfassungseinrichtung (100) folgende Merkmale aufweist: einen Bildsensor (130) mit einem ersten Sensorbereich (132) zum Bereitstellen erster Sensorsignale (140) und einem zweiten Sensorbereich (134) zum Bereitstellen zweiter Sensorsignale (142); eine Optikeinrichtung (105) zum Leiten von aus einem ersten Innenraumbereich (117) einfallenden ersten Lichts (119) auf den ersten Sensorbereich (132) und von einem zweiten Innenraumbereich (120) einfallenden zweiten Lichts (122) auf den zweiten Sensorbereich (134), wobei der erste Innenraumbereich (117) und der zweite Innenraumbereich (120) von einander beabstandet sind; und eine Bildverarbeitungseinrichtung (145), die ausgebildet ist, um unter Verwendung der ersten Sensorsignale (140) ein erstes Bild (500), das den ersten Innenraumbereich (117) abbildet, und unter Verwendung der zweiten Sensorsignale (142) ein zweites Bild (600), das den zweiten Innenraumbereich (120) abbildet, bereitzustellen. Flushing appliance (200) with an image capture device (100) for capturing a sink interior (115), wherein the sink interior (115) can be closed with a door (110) and wherein the image capture device (100) has the following features: an image sensor (130) having a first sensor area (132) for providing first sensor signals (140) and a second sensor area (134) for providing second sensor signals (142); an optical device (105) for guiding first light (119) incident from a first interior area (117) onto the first sensor area (132) and second light (122) incident from a second interior area (120) onto the second sensor area (134), wherein the first interior area (117) and the second interior area (120) are spaced from one another; and an image processing device (145) which is designed to use the first sensor signals (140) to generate a first image (500) depicting the first interior area (117) and to use the second sensor signals (142) to generate a second image (600) , which images the second interior area (120) to provide. Spülgerät (200) gemäß Anspruch 1, wobei der erste Sensorbereich (132) und der zweite Sensorbereich (134) direkt aneinander angrenzen.Flushing appliance (200) according to claim 1, wherein the first sensor area (132) and the second sensor area (134) directly adjoin one another. Spülgerät (200) gemäß einem der vorangegangenen Ansprüche, wobei die Bilderfassungseinrichtung (100) ein Gehäuse (107) aufweist, in dem der Bildsensor (130) und die Optikeinrichtung (105) starr befestigt angeordnet sind.Rinsing device (200) according to one of the preceding claims, wherein the image acquisition device (100) has a housing (107) in which the image sensor (130) and the optical device (105) are arranged rigidly attached. Spülgerät (200) gemäß Anspruch 3, wobei das Gehäuse (107) starr an der Tür (110) angeordnet ist.Flushing appliance (200) according to claim 3, wherein the housing (107) is arranged rigidly on the door (110). Spülgerät (200) gemäß einem der vorangegangenen Ansprüche, mit einem Oberkorb (205) und einem Unterkorb (215), wobei in einem betriebsbereiten Zustand des Spülgeräts (200) der Oberkorb (205) im ersten Innenraumbereich (117) und der Unterkorb (215) im zweiten Innenraumbereich (120) angeordnet ist.Dishwasher (200) according to one of the preceding claims, with an upper basket (205) and a lower basket (215), wherein when the dishwasher (200) is ready for operation, the upper basket (205) in the first interior area (117) and the lower basket (215) is arranged in the second interior area (120). Spülgerät (200) gemäß einem der vorangegangenen Ansprüche, wobei die Optikeinrichtung (105) ein erstes Spiegelelement (125) zum Umlenken des ersten Lichts (119) und ein zweites Spiegelelement (135) zum Umlenken des zweiten Lichts (122) umfasst.Washing appliance (200) according to one of the preceding claims, wherein the optical device (105) comprises a first mirror element (125) for deflecting the first light (119) and a second mirror element (135) for deflecting the second light (122). Spülgerät (200) gemäß einem der vorangegangenen Ansprüche, wobei die Optikeinrichtung (105) mindestens ein Prisma (300) zum Umlenken des ersten Lichts (119) und des zweiten Lichts (122) umfasst.Rinsing appliance (200) according to one of the preceding claims, wherein the optical device (105) comprises at least one prism (300) for deflecting the first light (119) and the second light (122). Spülgerät (200) gemäß einem der vorangegangenen Ansprüche, wobei die Bildverarbeitungseinrichtung (145) ausgebildet ist, das erste Bild (500) und das zweite Bild (600) vor dem Bereitstellen zu drehen.Flushing appliance (200) according to one of the preceding claims, wherein the image processing device (145) is designed to rotate the first image (500) and the second image (600) before providing them. Spülgerät (200) gemäß einem der vorangegangenen Ansprüche, mit einer Anzeigeeinrichtung (225) zum Anzeigen des von der Bildverarbeitungseinrichtung (145) bereitgestellten ersten Bilds (500) und zweiten Bilds (600).Flushing appliance (200) according to one of the preceding claims, having a display device (225) for displaying the first image (500) and second image (600) provided by the image processing device (145). Spülgerät (200) gemäß einem der vorangegangenen Ansprüche, wobei die Bilderfassungseinrichtung (100) eine Sendeeinrichtung (305) zum Senden des ersten Bilds (500) und des zweiten Bilds (600) an ein mobiles Gerät (310) aufweist.Rinsing device (200) according to one of the preceding claims, wherein the image acquisition device (100) has a sending device (305) for sending the first image (500) and the second image (600) to a mobile device (310).
EP21181161.7A 2020-07-01 2021-06-23 Rinsing device with image detection device Active EP3932282B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020117334.2A DE102020117334A1 (en) 2020-07-01 2020-07-01 Flushing device with image capture device

Publications (3)

Publication Number Publication Date
EP3932282A1 true EP3932282A1 (en) 2022-01-05
EP3932282C0 EP3932282C0 (en) 2024-01-31
EP3932282B1 EP3932282B1 (en) 2024-01-31

Family

ID=76890789

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21181161.7A Active EP3932282B1 (en) 2020-07-01 2021-06-23 Rinsing device with image detection device

Country Status (2)

Country Link
EP (1) EP3932282B1 (en)
DE (1) DE102020117334A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017118023A1 (en) * 2017-08-08 2019-02-14 Vorwerk & Co. Interholding Gmbh Method for operating a dishwasher and dishwasher
US10425567B2 (en) * 2014-07-09 2019-09-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for detecting an object area with a multi-aperture device in a flat housing
EP3847945A1 (en) * 2020-01-07 2021-07-14 Miele & Cie. KG Dishwasher, in particular a domestic dishwasher

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425567B2 (en) * 2014-07-09 2019-09-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for detecting an object area with a multi-aperture device in a flat housing
DE102017118023A1 (en) * 2017-08-08 2019-02-14 Vorwerk & Co. Interholding Gmbh Method for operating a dishwasher and dishwasher
EP3847945A1 (en) * 2020-01-07 2021-07-14 Miele & Cie. KG Dishwasher, in particular a domestic dishwasher

Also Published As

Publication number Publication date
EP3932282C0 (en) 2024-01-31
EP3932282B1 (en) 2024-01-31
DE102020117334A1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
DE102012103684B4 (en) Household appliance with a display device
DE2738804C2 (en) Device for recognizing the relative movement between an object and this device
DE102013110642A1 (en) Cooking device with camera and method for insertion detection
EP1738580B1 (en) Device for monitoring a spatial area, especially for securing a hazardous area of an automated installation
EP3017334A1 (en) Image capture method for microscope system and corresponding microscope system
DE102014006717A1 (en) Method for generating a three-dimensional information of an object with a digital microscope and data processing program for processing the method
DE102011122457A1 (en) Method for operating a camera arrangement, camera arrangement and driver assistance system
EP1100989B1 (en) Method and device for evaluating defects in flat textile structures
CH688663A5 (en) Method and apparatus for inspecting objects, particularly bottles.
EP3147700B1 (en) Method and device to increase the field of view of a camera and camera provided therewith
DE3406578A1 (en) AUTOMATIC FOCUS DETECTING DEVICE
DE102008024851A1 (en) Endoscope auto focus is set between two focal lengths, with a series of images between them for analysis of the focal length for the best image
EP1983334A1 (en) Method and apparatus for optically detecting contamination
EP3932282B1 (en) Rinsing device with image detection device
DE112018001600T5 (en) SYSTEM AND METHOD FOR 3D PROFILE DETERMINATION USING A MODEL-BASED PEAK SELECTION
DE3818278C2 (en) Examination device for the eye, in particular the fundus, and method for operating the same
EP3172612A1 (en) Method for correcting illumination-dependent aberrations in a modular digital microscope, digital microscope and data processing program
EP3933679A1 (en) Image processing device, rinsing device and method for processing a raw camera image
AT509970B1 (en) METHOD FOR RECORDING IMAGES OF OBJECTS
DE102020112027A1 (en) Device and method for determining an opening angle of a door to an interior space of a cleaning device and cleaning device with a device
DE102019104519A1 (en) Recording device for detecting a washing area for a cleaning device and cleaning device
DE102019210206B3 (en) Motor vehicle with an optical sensor and a first and second mirror
DE102011053179A1 (en) Device for taking back empties and method for classifying empties by means of light fields
WO2023247462A1 (en) Apparatus for contactlessly recording biometry data from regions of skin
DE3822275A1 (en) Method and device for automatic focussing on coordinate measuring machines with optoelectronic structure locating

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

B565 Issuance of search results under rule 164(2) epc

Effective date: 20211126

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220705

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20231117

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502021002545

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

U01 Request for unitary effect filed

Effective date: 20240131

U07 Unitary effect registered

Designated state(s): AT BE BG DE DK EE FI FR IT LT LU LV MT NL PT SE SI

Effective date: 20240206