EP3108789A1 - Support for surface cleaning - Google Patents

Support for surface cleaning Download PDF

Info

Publication number
EP3108789A1
EP3108789A1 EP16174754.8A EP16174754A EP3108789A1 EP 3108789 A1 EP3108789 A1 EP 3108789A1 EP 16174754 A EP16174754 A EP 16174754A EP 3108789 A1 EP3108789 A1 EP 3108789A1
Authority
EP
European Patent Office
Prior art keywords
cleaning
cleaning device
related information
user
cleaned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP16174754.8A
Other languages
German (de)
French (fr)
Other versions
EP3108789B1 (en
Inventor
Benjamin Strang
Miron SERNECKI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vorwerk and Co Interholding GmbH
Original Assignee
Vorwerk and Co Interholding GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vorwerk and Co Interholding GmbH filed Critical Vorwerk and Co Interholding GmbH
Publication of EP3108789A1 publication Critical patent/EP3108789A1/en
Application granted granted Critical
Publication of EP3108789B1 publication Critical patent/EP3108789B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002Installations of electric equipment
    • A47L11/4008Arrangements of switches, indicators or the like
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L13/00Implements for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L13/10Scrubbing; Scouring; Cleaning; Polishing
    • A47L13/50Auxiliary implements
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4094Accessories to be used in combination with conventional vacuum-cleaning devices
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays

Definitions

  • the present invention in a first aspect, relates to a method of assisting cleaning of surfaces with a cleaning device by a user, the method being performed by one or more devices.
  • the invention relates to a computer program.
  • the invention relates to a device.
  • the invention also relates to a floor cleaning appliance.
  • the invention also relates to a use of an electronic, optical aid.
  • textile and non-textile (such as hard, stone or elastic) floor coverings can be cleaned manually by means of a vacuum cleaner.
  • wet floor cleaning equipment such as a mop
  • a disadvantage of such manual cleaning is that manual cleaning can be comparatively time-consuming and, moreover, cleaning can not be thorough.
  • some areas of the surface to be cleaned are unintentionally cleaned several times, which leads to a corresponding increase in the duration of cleaning and thus to a reduction in efficiency.
  • some areas are not cleaned, which negatively affects the quality of cleaning.
  • cleaning robots such as vacuum robots
  • cleaning robots are usually comparatively compact built and battery operated and therefore usually have only a low cleaning power.
  • cleaning carried out by cleaning robots can take a comparatively long time.
  • the object mentioned is achieved by a computer program comprising program instructions which cause a processor to execute and / or control a method according to the first aspect when the computer program is run on the processor.
  • the object mentioned is achieved by a device comprising at least one processor and at least one memory with computer program code, wherein the at least one memory and the Computer program code are adapted to execute with the at least one processor, at least the method according to the first aspect and / or to control.
  • both the efficiency and the quality of the cleaning of the surface by the user can be increased.
  • position information of the cleaning device or a part thereof it can be determined, for example, where the cleaning device or the part thereof is located.
  • the cleaning-bent information may include, for example, the information in which area is being cleaned. From this it can be deduced, for example, in which area has already been cleaned by the user with the cleaning device, how often has already been cleaned in this area and / or in which area has not yet been cleaned by the user with the cleaning device.
  • the cleaning-related information may include, for example, information on how long it has been cleaned in one area or with which settings of the cleaning device in a region has been cleaned.
  • the output unit is insofar a user interface for the user carrying out the cleaning.
  • the output unit can be designed, for example, for acoustic, haptic (ie for example by vibration feedback and / or sliding force feedback) and / or visual output.
  • the thereby influenced cleaning of the user is in turn detected by determining position information of the cleaning device or the part thereof.
  • the method is a control method, which is the result of the technical problem is solved, the quality and efficiency to improve the cleaning. In one sense, a more efficient man-machine interface is thus achieved to achieve an improvement in the cleaning result.
  • various aspects and embodiments thereof in providing the identified cleaning-related information to the user to assist cleaning, take into account the physical conditions of human perception during cleaning. In other words, the perception of the identified cleaning-related information by humans can be significantly improved.
  • the cleaning device is, in particular in contrast to autonomous cleaning robots, a manual cleaning device, such as a hand-held cleaning device.
  • a manual cleaning device such as a hand-held cleaning device.
  • the part of the cleaning device is a part which is indicative of the area which is currently being cleaned with the cleaning device.
  • the determination of the position information of the cleaning device or of a part thereof may, for example, take place continuously or repeatedly, for example at regular intervals, in order to determine the current position information and to be able to determine precise cleaning-related information.
  • the position information may include, for example, the viewpoint of the cleaning device or part thereof and / or the orientation or position of the cleaning device or part thereof.
  • the method may, for example, be carried out by the cleaning device itself and / or by a device other than the cleaning device, for example a portable computer, in particular a "wearable computer", that is, a computer worn on the body during use.
  • a portable computer in particular a "wearable computer”
  • the determination of position information of the cleaning device or a part thereof comprises an optical detection of the cleaning device or a part thereof.
  • optical detection not only the position of the cleaning apparatus or the part thereof, but also the position or orientation can be precisely detected in a simple manner.
  • the optical detection takes place for example by an optical detection unit, which may be, for example, a camera, in particular a video camera.
  • the detection takes place in the visible range of the light.
  • the detection takes place, for example, in the infrared range.
  • the detection takes place on the basis of individual frames ("frames") of a continuous video data stream ("video stream").
  • the determination of position information of the cleaning device or a part thereof comprises a non-optical detection.
  • a radio-based determination of the position information of the cleaning device or of a part thereof can be carried out, for example by means of GPS or an indoor position determination, for example by means of trilateration.
  • the determination of position information of the cleaning device or of the part thereof is based at least partially on sensors, for example acceleration sensors of the cleaning device.
  • the provision of the ascertained cleaning-related information for the user via an output unit for assisting the cleaning comprises a visual output of the ascertained cleaning-related information by the output unit.
  • the provision of the determined cleaning-related information for the user via an output unit for assisting the cleaning comprises an acoustic output.
  • the efficiency and quality of the cleaning can be increased, in particular by visually outputting the determined cleaning-related information.
  • the determined cleaning-related information is displayed on a screen.
  • the determined cleaning related information is projected so that the user can perceive it.
  • the visual output is carried out on the cleaned and / or still to be cleaned surface.
  • the efficiency and quality of the cleaning can be further increased. For example, it can be displayed directly on the surface whether a region of the surface has already been cleaned. As a result, a very precise output of the cleaning-related information to the user is possible.
  • areas of the surface can be marked.
  • areas can be marked in color.
  • the visual output on the surface can be done by the cleaning device itself, for example by a (real) projection onto the surface.
  • the cleaning device for example, have appropriate means such as a controlled light source or a projector.
  • the visual output of the determined cleaning-related information by the output unit is a virtual output for the user.
  • a virtual output is understood to mean, in particular, that the determined cleaning-related information in the frame augmented reality.
  • the determined cleaning-related information is superimposed on the field of view of the user, who can then, for example, simultaneously perceive the reality and the virtual superimposed information.
  • the visual output in particular the visual output on the cleaned and / or still to be cleaned surface, can be realized particularly easily.
  • the ascertained cleaning-related information comprises information about already cleaned and / or still to be cleaned areas. This achieves a further increase in the quality and efficiency of the cleaning.
  • the ascertained cleaning-related information which includes information about areas which have already been cleaned and / or still to be cleaned
  • the user can recognize, for example, that no area was forgotten during the cleaning, which improves the quality of the cleaning.
  • the ascertained cleaning-related information which includes information about areas which have already been cleaned and / or yet to be cleaned, the user can recognize, for example, that an area has already been cleaned, which increases the efficiency of the cleaning, since this is new and unnecessary Cleaning already cleaned areas can be reduced or avoided.
  • the area (s) already cleaned or not yet / still to be cleaned can be marked, for example marked in color, as part of a visual output.
  • the marking takes place, for example, on the cleaned and / or still to be cleaned surface, for example in the context of an augmented reality, in that the marking of the cleaned and / or still to be cleaned surface is virtually overlaid.
  • the not yet cleaned and therefore still to be cleaned area of the surface is marked.
  • virtual markers for example dirt particles, can be displayed to the user by virtue of a virtual, visual output of the ascertained cleaning-related information in the area of the surface which has not yet been cleaned and thus remains to be cleaned.
  • the quality and the efficiency of the cleaning can be further improved, since by providing the additional cleaning-related information, the cleaning behavior of the user can be influenced.
  • the provision of the determined additional cleaning-related information for the user via the output unit for assisting the cleaning can be carried out, for example, as already described in connection with the provision of the determined cleaning-related information.
  • a surface property of the surfaces can be detected, for example, a surface type or contamination of the surface.
  • the detection is preferably carried out by an optical detection of the surface, as already described above in connection with the optical detection of the cleaning device or a part thereof. Alternatively or additionally, the detection can also be effected by other sensors, for example sensors of the cleaning device.
  • the additional cleaning-specific information comprises a recommended setting of the cleaning device and / or the location of local soiling.
  • the recommended setting of the cleaner is a floor-specific setting such as "soft mode” or a power level such as "level 1" or "level 2".
  • the provision of the additional cleaning related information to the user via the output unit is done visually in textual form.
  • the additional cleaning-specific information that includes the location of localized contaminants is visually provided on the surface to the user, for example, by markers (such as circles) indicative of local contamination, such as coarse material or spot contamination.
  • the one or more devices comprise an electronic, optical aid, in particular a data goggles, and / or the cleaning device.
  • the electronic, optical aids are data glasses.
  • the electronic, optical aids are data glasses.
  • information is displayed in the user's field of vision by using a spectacle lens of the data glasses as a display surface (such as a screen).
  • a Contact lens is used as the display surface.
  • the retina of the user's eye can be used as a display area (screen).
  • the optical aid comprises, for example, the output unit for providing the determined (additional) cleaning-related information for the user to support the cleaning.
  • the optical aid comprises, for example, an optical detection unit for determining position information of the cleaning device or a part thereof and, if appropriate, for determining the additional cleaning-related information.
  • the method can be performed, for example, solely by the electronic optical aids.
  • Such an optical aid has the advantage that it can be worn during cleaning by the user.
  • the optical tool can provide the determined (additional) cleaning-related information visually in the context of augmented reality to the user precisely.
  • this has the advantage that, for example, no or only a small adjustment of the cleaning unit is necessary.
  • the cleaning device can have a corresponding output unit which can provide the determined (additional) cleaning-related information to the user, for example by acoustic signals or by projection onto the surface.
  • the cleaning device is a floor cleaning device, in particular a vacuum cleaner or a wet floor cleaning device.
  • the application in the field of floor cleaning equipment can increase the quality and efficiency of floor cleaning.
  • the vacuum cleaner can For example, be a vacuum cleaner or a hand vacuum cleaner. If the cleaner is a vacuum cleaner, determining position information of the cleaner or a portion thereof may be, for example, determining position information of an attachment (eg, a nozzle attachment or a brush head) of the cleaner. As a result, the determination of already cleaned areas can be simplified.
  • the device preferably comprises an optical detection unit for determining position information of the cleaning device or a part thereof and / or a visual output unit for providing the determined cleaning-related information to the user for assistance in cleaning.
  • the device is or comprises an electronic optical aid, in particular a data goggle.
  • the device may also be the cleaning device or a system comprising the cleaning device and an electronic, optical aid, such as data glasses.
  • the object mentioned at the outset is achieved by a cleaning device, in particular a floor cleaning device, in particular for use in a method according to the first aspect, wherein the cleaning device has at least one indicator element, wherein the at least one indicator element supports optical detection the position of the cleaning device or a part thereof is formed.
  • the efficiency and quality of the cleaning can be improved because the at least one indicator provided element facilitates optical detection of the cleaning device or a part thereof and / or specified.
  • the cleaning-related information is therefore particularly reliable.
  • the at least one indicator element can emit (for example in the form of a highlighter) radiation of a specific wavelength or a specific wavelength range, for example in the visible and / or infrared range.
  • the indicator element may be a reflector which reflects radiation of a specific wavelength or a specific wavelength range.
  • the at least one indicator element is arranged on the cleaning device such that it is visible during operation, in particular visible to the user.
  • At least two indicator elements are provided.
  • a detection of the position or orientation of the cleaning device or a part thereof is made possible or simplified.
  • a system of a cleaning device according to the fourth aspect in combination with a device according to the third aspect in the form of an electronic, optical aid, such as a data glasses.
  • the cleaning device is a vacuum cleaner, preferably with a header and preferably, the attachment on the indicator elements.
  • the attachment has the indicator elements on its top.
  • the object mentioned at the outset is achieved by a use of an electronic, optical auxiliary device, in particular a data goggle, to assist a cleaning of surfaces with a cleaning device by a user, in particular in a method according to the first aspect.
  • an optical device such as a data goggle
  • the efficiency and quality of cleaning can be increased.
  • Fig. 1 shows first a sketch-like representation of the field of view of a user B when cleaning a floor surface 1, with a cleaning device 2, as is known from the prior art.
  • the floor surface 1 is carpet in this case.
  • the cleaning device 2 is a hand vacuum cleaner with a header 4.
  • the user B performs the cleaning manually.
  • areas of the soil surface 1 are cleaned several times, which adversely affects the efficiency of cleaning.
  • Fig. 2 now shows a sketch-like representation of the field of view of a user when cleaning the soil surface 1 with the cleaning device 2, as they are Embodiment of a device according to the invention (for example, device 100, Fig. 6 ), which performs an embodiment of a method according to the invention allows.
  • the device is designed in this case as a data goggles.
  • the data glasses can show information by means of an output unit in the eye of the user B, so that they appear in the field of vision of the user and are superimposed on the real world. This is also called augmented reality.
  • the data glasses visually provide cleaning-related information about the user output unit for assisting cleaning. The determined cleaning-related information is displayed virtually on the cleaned surface 1.
  • the determined cleaning-related information in particular includes information about already cleaned areas.
  • the information which area of the surface 1 has already been cleaned is provided to the user B as a color-marked area 5.
  • the data glasses in the Fig. 3a visual field represented by means of an optical detection unit in the form of a video camera optically.
  • This in Fig. 3a The visual field to be seen is converted into image information 7 by the detection unit.
  • a still image is recorded, for example, or a single image is extracted from a video data stream.
  • the cleaning device or a part thereof is identified.
  • the attachment 4 of the vacuum cleaner 2 is identified by means of a corresponding algorithm. The identification may for example be based on the shape and / or color of the attachment 4.
  • the determined position of the attachment 4 is indicated by the dashed line 6 in FIG Fig. 3b shown. To this Way position information of the attachment 4 could be determined as part of the vacuum cleaner 2, wherein the detection comprises an optical detection of a part 4 of the cleaning device 2.
  • the image area of the floor surface 1 covered by the body 8 of the vacuum cleaner 2 is determined.
  • the determined position of the body 8 of the vacuum cleaner 2 is in Fig. 3c represented by the dashed line 10.
  • the area 12 is representative of an already cleaned area of the floor surface 1.
  • the area of the floor surface covered by the body 8 of the vacuum cleaner 2 is colored with the color of the image area adjacent to the vacuum cleaner 2.
  • displayed image information 7 can first be cached.
  • Fig. 3f shows analogously to Fig. 3a second image information 9, for example a second still image or another single image from the video data stream.
  • the in the Fig. 3b to Fig. 3e The steps shown are now repeated for the second image information 9, so that the in Fig. 3g shown image information 9, wherein the area 14 in turn is representative of an already cleaned area of the soil surface 1.
  • the first image information 7 and the second image information 9 are aligned with each other, as in FIG Fig. 3h shown.
  • the area of the image information which contains the vacuum cleaner 2 is not used, since this is relative to the floor surface 1 and the space has moved, and may provoke a misalignment of the image information to each other.
  • Determining area 16 is an example of determining cleaning related information that includes information about an already cleaned area of the surface based on the previously determined position information of header 4.
  • the area 16 may be provided as determined cleaning-related information by the output unit of the data glasses to the user for the purpose of cleaning, Fig. 3j , If the cleaning is continued for the user B, for example, the in Fig. 3k shown field of view through the data glasses.
  • the area 5 is preferably provided to the user B, omitting the image area currently occupied by the vacuum cleaner 2, so that a field of vision as in FIG Fig. 2 shown results.
  • Fig. 4a-c each show further sketchy representations of the field of view of a user, as it allows an embodiment of a device according to the invention, which performs an embodiment of a method according to the invention.
  • additional cleaning-related information determined to the user is provided visually via the data-goggles output unit for assisting cleaning.
  • the determined additional cleaning-related information is likewise output virtually on the surface 1 to be cleaned.
  • the surface here comprises on the one hand a carpet floor 1a and on the other hand a hard floor 1b.
  • the additional cleaning-related information 20a, 20b in this case comprises a recommended setting of the cleaning device 2 in order to clean the corresponding areas of the surface.
  • the Additional cleaning-related information is provided to the user in the form of a text.
  • the information 20a, 20b has been determined, for example, based on an optical detection of the surfaces 1a, 1b by the camera of the data glasses.
  • additional cleaning related information may be provided to the user as described, for example, in US Pat Fig. 4b shown, the positions of local pollution 22 by position markers 24 are displayed.
  • the information in the form of the position marker 24 of the local pollution 22 were determined, for example based on an optical detection of the surface 1 or the pollution 22, by the camera of the data glasses.
  • Fig. 4c shows another example of providing determined cleaning related information about a data glasses for the user to assist the cleaning.
  • Fig. 3k in the form of area 5, which is representative of an already cleaned area, is shown in FIG Fig. 4c
  • the not yet cleaned and therefore still to be cleaned area of the surface 1 marked.
  • the user virtual markers 26 are displayed in the form of dirt particles in the area of not yet cleaned and thus still to be cleaned surface 1.
  • Fig. 5 shows an embodiment of a cleaning device 2 'according to the invention.
  • the cleaning device 2 ' differs from the cleaning device 2 in that the attachment 4' of the cleaning device 2 'has on its upper side two indicator elements 30a, 30b, wherein the indicator elements 30a, 30b support the optical detection of the position of the attachment 4' of the cleaning device 2'ausge les are.
  • the indicator elements 30a, 30b are designed here as highlighters, which emit light in the optical range, for example.
  • About the geometry and / or the distance of the indicator elements 30a, 30b can be closed, for example, to the current orientation or stroke direction of the attachment 4 '.
  • the cleaning device 2 ' may be advantageous in the above described method instead of the cleaning device 2 are used, which facilitates the optical detection of the attachment.
  • Fig. 6 finally shows a block diagram of an embodiment of a device according to the invention or a part thereof.
  • the device 100 is preferably a computer, preferably a portable computer, for example a smart phone. However, it is also conceivable that the device 100 is, for example, a smartphone. It is also conceivable that the device 100 is a cleaning device.
  • the processor 105 of the device 1 is designed in particular as a microprocessor, microcontroller such as microcontroller, digital signal processor (DSP), application-specific integrated circuit (ASIC) or Field Programmable Gate Array (FPGA).
  • DSP digital signal processor
  • ASIC application-specific integrated circuit
  • FPGA Field Programmable Gate Array
  • the processor 105 executes program instructions stored in the program memory 120 and stores, for example, intermediate results or the like in a main memory 110.
  • the program memory 120 is a non-volatile memory such as a flash memory, a magnetic memory, an EEPROM memory ( electrically erasable programmable read only memory) and / or optical memory.
  • the main memory 110 is, for example, a volatile or nonvolatile memory, particularly a random access memory (RAM) such as a static RAM (SRAM), a dynamic RAM (DRAM), a ferroelectric RAM (FeRAM) ) and / or a magnetic RAM memory (MRAM).
  • RAM random access memory
  • SRAM static RAM
  • DRAM dynamic RAM
  • FeRAM ferroelectric RAM
  • MRAM magnetic RAM memory
  • the program memory 120 is preferably a local volume permanently connected to the device 100.
  • Hard disks permanently connected to the device 100 are, for example, hard disks which are built into the device 100.
  • the data carrier may, for example, also be a data carrier that can be connected separably to the device 100, such as a memory stick, a removable data carrier, a portable hard disk, a CD, a DVD and / or a floppy disk.
  • the program memory 120 contains the operating system from the device 100, which is at least partially loaded into main memory 110 when the device 100 is started and executed by the processor 105. In particular, at startup of device 100, at least a portion of the core of the operating system is loaded into main memory 110 and executed by processor 105.
  • the operating system of the device 100 is, for example, a Windows, UNIX, Linux, Android, Apple i0S and / or MAC operating system.
  • the operating system allows the use of the computing device 100.
  • it manages resources such as main memory 110 and program memory 120, network interface 130, input and output device 140, provides basic functions to other programs through programming interfaces, and controls the execution of programs.
  • the processor 105 controls the network interface 130, the control of the network interface 130 being enabled, for example, by a driver that is part of the kernel of the operating system.
  • Network interface 130 is, for example, a network card, a network module and / or a modem and is set up to connect the data processing system 1 to a network.
  • network interface 130 may receive data over the network and forward to processor 105 and / or receive and transmit data from processor 105 over the network.
  • Examples of a network are a local area network (LAN) such as an Ethernet network or an IEEE 802 network, a wide area network (WAN), a wireless network, a wired network, a cellular network, a telephone network, and / or the Internet.
  • processor 105 may control at least one input / output device 140.
  • the input / output device 140 includes, for example, an optical detection unit, for example a camera, for determining position information of the cleaning device or a part thereof.
  • the input / output device 140 comprises, for example, an output unit, for example a unit for projecting information into the field of vision of the user in the context of an augmented reality to provide the determined (additional) cleaning related information to the user to assist cleaning.
  • a keyboard, a mouse, a microphone, a touch-sensitive display unit, a speaker, a reader and / or a drive may be provided.
  • Input / output device 140 may, for example, pick up inputs from a user and forward them to processor 105 and / or receive and output information to the user of processor 105.
  • Fig. 7 shows exemplary embodiments of storage media on which a computer program according to the invention can be stored.
  • the storage medium may be, for example, a magnetic, electrical, optical and / or different storage medium.
  • the storage medium may be part of a processor (eg, the processor 105 of the Fig. 6 ), for example, a (non-volatile or volatile) program memory of the processor or a part thereof (such as program memory 120 in Fig. 6 ).
  • Embodiments of a storage medium are a floppy disk 700, a CD-ROM or DVD 710, a memory stick 720 (eg a USB stick), or a memory card 730.
  • Another embodiment of a storage medium according to the invention is a flash memory.

Abstract

Die vorliegende Erfindung betrifft unter anderem ein Verfahren zur Unterstützung einer Reinigung von Oberflächen (1) mit einem Reinigungsgerät (2) durch einen Benutzer, wobei das Verfahren durch eine oder mehrere Vorrichtungen ausgeführt wird. Die Aufgabe, im Falle einer Reinigung von Oberflächen (1) durch einen Benutzer, die Effizienz und die Qualität der Reinigung zu verbessern, wird durch ein Verfahren gelöst, umfassend: - Ermitteln von Positionsinformationen des Reinigungsgeräts (2) oder eines Teils (4) hiervon, - Ermitteln reinigungsbezogener Informationen basierend auf den ermittelten Positionsinformationen und - Bereitstellen der ermittelten reinigungsbezogenen Informationen über eine Ausgabeeinheit für den Benutzer zur Unterstützung der Reinigung.The present invention relates, inter alia, to a method for assisting cleaning of surfaces (1) with a cleaning device (2) by a user, the method being performed by one or more devices. The object, in the case of a cleaning of surfaces (1) by a user, to improve the efficiency and quality of cleaning, is solved by a method comprising: Determining position information of the cleaning device (2) or a part (4) thereof, Determining cleaning-related information based on the determined position information and - Providing the determined cleaning-related information about an output unit for the user to support the cleaning.

Description

Die vorliegende Erfindung betrifft gemäß einem ersten Aspekt ein Verfahren zur Unterstützung einer Reinigung von Oberflächen mit einem Reinigungsgerät durch einen Benutzer, wobei das Verfahren durch eine oder mehrere Vorrichtungen ausgeführt wird. Gemäße einem zweiten Aspekt betrifft die Erfindung ein Computerprogramm. Gemäß einem dritten Aspekt betrifft die Erfindung eine Vorrichtung. Gemäß einem vierten Aspekt betrifft die Erfindung auch ein Bodenreinigungsgerät. Gemäß einem fünften Aspekt betrifft die Erfindung zudem eine Verwendung eines elektronischen, optischen Hilfsmittels.The present invention, in a first aspect, relates to a method of assisting cleaning of surfaces with a cleaning device by a user, the method being performed by one or more devices. According to a second aspect, the invention relates to a computer program. According to a third aspect, the invention relates to a device. According to a fourth aspect, the invention also relates to a floor cleaning appliance. According to a fifth aspect, the invention also relates to a use of an electronic, optical aid.

Aus dem Stand der Technik sind Verfahren zum Reinigen von Oberflächen, wie beispielsweise Bodenbelägen, bekannt. Beispielsweise können mittels eines Staubsaugers textile und nicht-textile (etwa Hart-, Stein- oder elastische) Bodenbeläge manuell gereinigt werden. Ebenfalls können Feuchtbodenreinigungsgeräte (etwa ein Wischmopp) zum Einsatz kommen.Methods for cleaning surfaces, such as floor coverings, are known in the prior art. For example, textile and non-textile (such as hard, stone or elastic) floor coverings can be cleaned manually by means of a vacuum cleaner. Also, wet floor cleaning equipment (such as a mop) can be used.

Nachteilig an einer derartigen manuellen Reinigung ist jedoch, dass eine manuelle Reinigung vergleichsweise zeitaufwendig sein kann und zudem die Reinigung nicht gründlich sein kann. Einerseits werden einige Bereiche der zu reinigenden Oberfläche unbeabsichtigt mehrfach gereinigt, was zu einer entsprechenden Erhöhung der Reinigungsdauer und damit zu einer Verringerung der Effizienz führt. Andererseits werden einige Bereiche gar nicht gereinigt, was die Qualität der Reinigung negativ beeinflusst.However, a disadvantage of such manual cleaning is that manual cleaning can be comparatively time-consuming and, moreover, cleaning can not be thorough. On the one hand, some areas of the surface to be cleaned are unintentionally cleaned several times, which leads to a corresponding increase in the duration of cleaning and thus to a reduction in efficiency. On the other hand, some areas are not cleaned, which negatively affects the quality of cleaning.

Aus dem Stand der Technik ist es bekannt, Reinigungsroboter, wie etwa Saugroboter, einzusetzen, sodass die Reinigung nicht mehr durch einen Benutzer erfolgt, sondern autonom durch die Maschine. Dadurch sollen obige Probleme jedenfalls teilweise beseitigen werden. Derartige Reinigungsroboter sind allerdings in der Regel vergleichsweise kompakt gebaut und batteriebetrieben und verfügen daher in der Regel nur über eine geringe Reinigungskraft. Ebenfalls kann eine durch Reinigungsroboter durchgeführte Reinigung vergleichsweise lange dauern. Schließlich kann es Oberflächen geben, welche für Reinigungsroboter nicht ohne weiteres zugänglich sind.From the prior art it is known to use cleaning robots, such as vacuum robots, so that the cleaning is no longer done by a user, but autonomously by the machine. This should at least partially eliminate the above problems. However, such cleaning robots are usually comparatively compact built and battery operated and therefore usually have only a low cleaning power. Likewise, cleaning carried out by cleaning robots can take a comparatively long time. Finally, there may be surfaces which are not easily accessible to cleaning robots.

Aus diesem Grund kann es weiterhin vorteilhaft sein, eine Reinigung von Oberflächen durch einen Benutzer, das heißt eine manuelle Reinigung, vorzuziehen. In diesem Fall ergeben sich allerdings die eingangs dargestellten Probleme, sodass sowohl die Effizienz als auch die Qualität der Reinigung leiden können.For this reason, it may further be advantageous to prefer a cleaning of surfaces by a user, that is, a manual cleaning. In this case, however, arise the problems described above, so that both the efficiency and the quality of cleaning can suffer.

Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung, im Falle einer Reinigung von Oberflächen durch einen Benutzer, die Effizienz und die Qualität der Reinigung zu verbessern.Based on this, it is an object of the present invention, in the case of cleaning of surfaces by a user to improve the efficiency and quality of cleaning.

Die Aufgabe wird gemäß dem ersten Aspekt durch ein Verfahren gelöst, umfassend:

  • Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon,
  • Ermitteln reinigungsbezogener Informationen basierend auf den ermittelten Positionsinformationen und
  • Bereitstellen der ermittelten reinigungsbezogenen Informationen über eine Ausgabeeinheit für den Benutzer zur Unterstützung der Reinigung.
The object is achieved according to the first aspect by a method comprising:
  • Determining position information of the cleaning device or a part thereof,
  • Determine cleaning-related information based on the determined position information and
  • Providing the determined cleaning related information via an output device to the user for assistance in cleaning.

Gemäß dem zweiten Aspekt der Erfindung wird die eingangs genannte Aufgabe durch ein Computerprogramm gelöst, das Programmanweisungen umfasst, die einen Prozessor zur Ausführung und/oder Steuerung eines Verfahrens gemäß dem ersten Aspekt veranlassen, wenn das Computerprogramm auf dem Prozessor läuft.According to the second aspect of the invention, the object mentioned is achieved by a computer program comprising program instructions which cause a processor to execute and / or control a method according to the first aspect when the computer program is run on the processor.

Gemäß dem dritten Aspekt wird die eingangs genannte Aufgabe durch eine Vorrichtung gelöst, umfassend zumindest einen Prozessor und zumindest einen Speicher mit Computerprogrammcode, wobei der zumindest eine Speicher und der Computerprogrammcode dazu eingerichtet sind, mit dem zumindest einen Prozessor, zumindest das Verfahren nach dem ersten Aspekt auszuführen und/oder zu steuern.According to the third aspect, the object mentioned is achieved by a device comprising at least one processor and at least one memory with computer program code, wherein the at least one memory and the Computer program code are adapted to execute with the at least one processor, at least the method according to the first aspect and / or to control.

Es hat sich gezeigt, dass durch die Aspekte der Erfindung sowohl die Effizienz als auch die Qualität der Reinigung der Oberfläche durch den Benutzer gesteigert werden können. Dadurch, dass Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon ermittelt werden, kann beispielsweise bestimmt werden, wo sich das Reinigungsgerät oder der Teil hiervon befindet.It has been found that by the aspects of the invention, both the efficiency and the quality of the cleaning of the surface by the user can be increased. By determining position information of the cleaning device or a part thereof, it can be determined, for example, where the cleaning device or the part thereof is located.

Basierend auf den ermittelten Positionsinformationen können dann reinigungsbezogene Informationen ermittelt werden. Die reinigungsgebogenen Informationen können beispielsweise die Informationen umfassen, in welchem Bereich gerade gereinigt wird. Hieraus kann beispielsweise abgeleitet werden, in welchem Bereich durch den Benutzer mit dem Reinigungsgerät schon gereinigt wurde, wie oft in diesem Bereich schon gereinigt wurde und/oder in welchem Bereich durch den Benutzer mit dem Reinigungsgerät noch nicht gereinigt wurde. Um weitere Beispiele zu nennen, können die reinigungsbezogenen Informationen etwa Informationen umfassen, wie lange in einem Bereich gereinigt wurde oder mit welchen Einstellungen des Reinigungsgeräts in einem Bereich gereinigt wurde.Based on the determined position information cleaning-related information can then be determined. The cleaning-bent information may include, for example, the information in which area is being cleaned. From this it can be deduced, for example, in which area has already been cleaned by the user with the cleaning device, how often has already been cleaned in this area and / or in which area has not yet been cleaned by the user with the cleaning device. To give further examples, the cleaning-related information may include, for example, information on how long it has been cleaned in one area or with which settings of the cleaning device in a region has been cleaned.

Dadurch, dass die ermittelten reinigungsbezogenen Informationen über eine Ausgabeeinheit für den Benutzer zur Unterstützung der Reinigung bereitgestellt werden, wird die vom Benutzer durchgeführte Reinigung beeinflusst und kann so in ihrer Effizienz und Qualität verbessert werden. Die Ausgabeeinheit stellt insofern eine Benutzerschnittstelle für den die Reinigung durchführenden Benutzer dar. Die Ausgabeeinheit kann beispielswiese zur akustischen, haptischen (d.h. beispielsweise durch Vibrationsfeedback und/oder Schiebekraftfeedback) und/oder visuellen Ausgabe eingerichtet sein. Die hierdurch beeinflusste Reinigung des Benutzers wird wiederum durch das Ermitteln von Positionsinformationen des Reinigungsgeräts oder des Teils hiervon erfasst. Insofern stellt das Verfahren ein Steuerverfahren dar, wodurch im Ergebnis die technische Aufgabe gelöst wird, die Qualität und Effizienz der Reinigung zu verbessern. In einer Hinsicht wird somit eine effizientere Mensch-Maschine-Schnittstelle erreicht, um eine Verbesserung des Reinigungsergebnisses zu erzielen. Insbesondere nehmen verschiedene Aspekte und deren Ausgestaltungen (beispielsweise die Verwendung eines optischen Hilfsmittles) bei der Bereitstellung der ermittelten reinigungsbezogenen Informationen für den Benutzer zur Unterstützung der Reinigung auf die physischen Gegebenheiten der menschlichen Wahrnehmung während der Reinigung Rücksicht. Mit anderen Worten kann die Wahrnehmung der ermittelten reinigungsbezogenen Informationen durch den Menschen deutlich verbessert werden.By providing the determined cleaning related information via a user dispensing unit for assisting the cleaning, the cleaning performed by the user is influenced and can thus be improved in its efficiency and quality. The output unit is insofar a user interface for the user carrying out the cleaning. The output unit can be designed, for example, for acoustic, haptic (ie for example by vibration feedback and / or sliding force feedback) and / or visual output. The thereby influenced cleaning of the user is in turn detected by determining position information of the cleaning device or the part thereof. In this respect, the method is a control method, which is the result of the technical problem is solved, the quality and efficiency to improve the cleaning. In one sense, a more efficient man-machine interface is thus achieved to achieve an improvement in the cleaning result. In particular, various aspects and embodiments thereof (for example, the use of an optical tool) in providing the identified cleaning-related information to the user to assist cleaning, take into account the physical conditions of human perception during cleaning. In other words, the perception of the identified cleaning-related information by humans can be significantly improved.

Das Reinigungsgerät ist, insbesondere im Gegensatz zu autonomen Reinigungsrobotern, ein manuelles Reinigungsgerät, beispielsweise ein handgeführtes Reinigungsgerät. Beispielsweise ist der Teil des Reinigungsgeräts ein Teil, welcher indikativ für den Bereich ist, welcher momentan mit dem Reinigungsgerät gereinigt wird.The cleaning device is, in particular in contrast to autonomous cleaning robots, a manual cleaning device, such as a hand-held cleaning device. For example, the part of the cleaning device is a part which is indicative of the area which is currently being cleaned with the cleaning device.

Das Ermitteln der Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon kann beispielsweise kontinuierlich oder wiederholt erfolgen, beispielsweise in regelmäßigen Abständen, um die aktuelle Positionsinformationen zu ermitteln und präzise reinigungsbezogene Informationen ermitteln zu können. Die Positionsinformationen können beispielsweise den Standpunkt des Reinigungsgeräts oder des Teils hiervon umfassen und/oder die Orientierung oder Lage des Reinigungsgeräts oder des Teils hiervon.The determination of the position information of the cleaning device or of a part thereof may, for example, take place continuously or repeatedly, for example at regular intervals, in order to determine the current position information and to be able to determine precise cleaning-related information. The position information may include, for example, the viewpoint of the cleaning device or part thereof and / or the orientation or position of the cleaning device or part thereof.

Das Verfahren kann beispielsweise von dem Reinigungsgerät selbst ausgeführt werden und/oder von einem von dem Reinigungsgerät verschiedenen Gerät, beispielsweise einem tragbaren Computer, insbesondere einem "Wearable Computer", das heißt, einem Computer, der während der Anwendung am Körper getragen wird. Gemäß einer bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung umfasst das Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon eine optische Erfassung des Reinigungsgeräts oder eines Teils hiervon.The method may, for example, be carried out by the cleaning device itself and / or by a device other than the cleaning device, for example a portable computer, in particular a "wearable computer", that is, a computer worn on the body during use. According to a preferred embodiment of the different aspects of the invention, the determination of position information of the cleaning device or a part thereof comprises an optical detection of the cleaning device or a part thereof.

Es hat sich gezeigt, dass eine optische, insbesondere bildbasierte Erfassung des Reinigungsgeräts oder des Teils hiervon zuverlässig möglich ist. Zudem kann durch eine optische Erfassung nicht nur der Standpunkt des Reinigungsgeräts oder des Teils hiervon, sondern auch die Lage oder Orientierung präzise auf einfache Weise erfasst werden. Die optische Erfassung erfolgt beispielsweise durch eine optische Erfassungseinheit, welche beispielsweise eine Kamera, insbesondere eine Videokamera sein kann. Beispielsweise erfolgt die Erfassung im sichtbaren Bereich des Lichts. Es ist jedoch auch denkbar, dass die Erfassung beispielsweise im Infrarotbereich erfolgt. Beispielsweise erfolgt die Erfassung anhand von Einzelbildern ("Frames") eines kontinuierlichen Videodatenstroms ("Videostream").It has been found that an optical, in particular image-based detection of the cleaning device or the part thereof is reliably possible. In addition, by optical detection, not only the position of the cleaning apparatus or the part thereof, but also the position or orientation can be precisely detected in a simple manner. The optical detection takes place for example by an optical detection unit, which may be, for example, a camera, in particular a video camera. For example, the detection takes place in the visible range of the light. However, it is also conceivable that the detection takes place, for example, in the infrared range. For example, the detection takes place on the basis of individual frames ("frames") of a continuous video data stream ("video stream").

Es ist jedoch auch alternativ oder zusätzlich möglich, dass das Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon eine nichtoptische Erfassung umfasst. Beispielsweise kann eine funkbasierte Ermittlung der Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon erfolgen, beispielsweise mittels GPS oder einer Innenraum-Positionsbestimmung, beispielsweise mittels Trilateration. Ebenfalls ist denkbar, dass das Ermitteln von Positionsinformationen des Reinigungsgeräts oder des Teils hiervon zumindest teilweise auf Sensoren, beispielsweise Beschleunigungssensoren des Reinigungsgeräts basiert.However, it is also alternatively or additionally possible that the determination of position information of the cleaning device or a part thereof comprises a non-optical detection. For example, a radio-based determination of the position information of the cleaning device or of a part thereof can be carried out, for example by means of GPS or an indoor position determination, for example by means of trilateration. It is also conceivable that the determination of position information of the cleaning device or of the part thereof is based at least partially on sensors, for example acceleration sensors of the cleaning device.

Gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung umfasst das Bereitstellen der ermittelten reinigungsbezogenen Informationen für den Benutzer über eine Ausgabeeinheit zur Unterstützung der Reinigung ein visuelles Ausgeben der ermittelten reinigungsbezogenen Informationen durch die Ausgabeeinheit.According to a further preferred embodiment of the different aspects of the invention, the provision of the ascertained cleaning-related information for the user via an output unit for assisting the cleaning comprises a visual output of the ascertained cleaning-related information by the output unit.

Es ist alternativ jedoch auch denkbar, dass das Bereitstellen der ermittelten reinigungsbezogenen Informationen für den Benutzer über eine Ausgabeeinheit zur Unterstützung der Reinigung ein akustisches Ausgeben umfasst.Alternatively, however, it is also conceivable that the provision of the determined cleaning-related information for the user via an output unit for assisting the cleaning comprises an acoustic output.

Es hat sich allerdings gezeigt, dass insbesondere durch ein visuelles Ausgeben der ermittelten reinigungsbezogenen Informationen die Effizienz und Qualität der Reinigung gesteigert werden kann. Beispielsweise werden die ermittelten reinigungsbezogenen Informationen auf einem Bildschirm dargestellt. Beispielsweise werden die ermittelten reinigungsbezogenen Informationen so projiziert, dass der Benutzer diese wahrnehmen kann.However, it has been shown that the efficiency and quality of the cleaning can be increased, in particular by visually outputting the determined cleaning-related information. For example, the determined cleaning-related information is displayed on a screen. For example, the determined cleaning related information is projected so that the user can perceive it.

Gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung erfolgt das visuelle Ausgeben auf der gereinigten und/oder noch zu reinigenden Oberfläche.According to a further preferred embodiment of the different aspects of the invention, the visual output is carried out on the cleaned and / or still to be cleaned surface.

Durch ein visuelles Ausgeben auf der gereinigten und/oder noch zu reinigenden Oberfläche können die Effizienz und Qualität der Reinigung weiter gesteigert werden. Beispielsweise kann unmittelbar auf der Oberfläche angezeigt werden, ob ein Bereich der Oberfläche bereits gereinigt wurde. Hierdurch ist ein sehr präzises Ausgeben der reinigungsbezogenen Information an den Benutzer möglich. Beispielsweise können Bereiche der Oberfläche markiert werden. Beispielsweise können Bereiche farblich markiert werden. Beispielsweise kann das visuelle Ausgeben auf der Oberfläche durch das Reinigungsgerät selbst erfolgen, beispielsweise durch eine (reelle) Projektion auf die Oberfläche. Hierzu kann das Reinigungsgerät beispielsweise entsprechende Mittel wie eine gesteuerte Lichtquelle oder einen Projektor aufweisen.By visually dispensing on the cleaned and / or still to be cleaned surface, the efficiency and quality of the cleaning can be further increased. For example, it can be displayed directly on the surface whether a region of the surface has already been cleaned. As a result, a very precise output of the cleaning-related information to the user is possible. For example, areas of the surface can be marked. For example, areas can be marked in color. For example, the visual output on the surface can be done by the cleaning device itself, for example by a (real) projection onto the surface. For this purpose, the cleaning device, for example, have appropriate means such as a controlled light source or a projector.

Allerdings ist es bevorzugt, wenn gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung das visuelle Ausgeben der ermittelten reinigungsbezogenen Informationen durch die Ausgabeeinheit ein für den Benutzer virtuelles Ausgeben ist. Unter einem virtuellen Ausgeben wird insbesondere verstanden, dass die ermittelten reinigungsbezogenen Informationen im Rahmen einer erweiterten Realität ("Augmented Reality") ausgegeben werden. Beispielsweise werden die ermittelten reinigungsbezogenen Informationen dem Blickfeld des Benutzers überlagert, welcher dann beispielsweise gleichzeitig die Realität und die virtuellen überlagerten Informationen wahrnehmen kann. Auf diese Weise kann das visuelle Ausgeben, insbesondere das visuelle Ausgeben auf der gereinigten und/oder noch zu reinigenden Oberfläche, besonders einfach realisiert werden.However, it is preferred if, according to a further preferred embodiment of the different aspects of the invention, the visual output of the determined cleaning-related information by the output unit is a virtual output for the user. A virtual output is understood to mean, in particular, that the determined cleaning-related information in the frame augmented reality. For example, the determined cleaning-related information is superimposed on the field of view of the user, who can then, for example, simultaneously perceive the reality and the virtual superimposed information. In this way, the visual output, in particular the visual output on the cleaned and / or still to be cleaned surface, can be realized particularly easily.

Gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung umfassen die ermittelten reinigungsbezogenen Informationen Informationen über bereits gereinigte und/oder noch zu reinigende Bereiche. Hierdurch wird eine weitere Steigerung der Qualität und Effizienz der Reinigung erreicht. Zum einen kann der Benutzer durch die Ausgabe der ermittelten reinigungsbezogenen Informationen, welche Informationen über bereits gereinigte und/oder noch zu reinigende Bereiche umfassen, erkennen, dass bei der Reinigung beispielsweise kein Bereich vergessen wurde, was die Qualität der Reinigung steigert. Zum anderen kann der Benutzer durch die Ausgabe der ermittelten reinigungsbezogenen Informationen, welche Informationen über bereits gereinigte und/oder noch zu reinigende Bereiche umfassen, erkennen, dass beispielsweise ein Bereich bereits gereinigt wurde, was die Effizienz der Reinigung steigert, da das erneute und nicht notwendige Reinigen bereits gereinigter Bereiche reduziert oder vermieden werden kann.According to a further preferred embodiment of the different aspects of the invention, the ascertained cleaning-related information comprises information about already cleaned and / or still to be cleaned areas. This achieves a further increase in the quality and efficiency of the cleaning. On the one hand, by issuing the ascertained cleaning-related information, which includes information about areas which have already been cleaned and / or still to be cleaned, the user can recognize, for example, that no area was forgotten during the cleaning, which improves the quality of the cleaning. On the other hand, by issuing the ascertained cleaning-related information, which includes information about areas which have already been cleaned and / or yet to be cleaned, the user can recognize, for example, that an area has already been cleaned, which increases the efficiency of the cleaning, since this is new and unnecessary Cleaning already cleaned areas can be reduced or avoided.

Beispielsweise kann durch das Bereitstellen der ermittelten reinigungsbezogenen Informationen über eine Ausgabeeinheit für den Benutzer zur Unterstützung der Reinigung (der) bereits gereinigte oder (der) noch nicht/noch zu reinigende Bereich(e) im Rahmen eines visuellen Ausgebens markiert, beispielsweise farblich markiert sein. Wie bereits beschrieben, erfolgt die Markierung beispielsweise auf der gereinigten und/oder noch zu reinigenden Oberfläche, beispielsweise im Rahmen einer erweiterten Realität, indem die Markierung der gereinigten und/oder noch zu reinigenden Oberfläche virtuell überlagert wird.For example, by providing the ascertained cleaning-related information about an output unit for the user to assist the cleaning, the area (s) already cleaned or not yet / still to be cleaned can be marked, for example marked in color, as part of a visual output. As already described, the marking takes place, for example, on the cleaned and / or still to be cleaned surface, for example in the context of an augmented reality, in that the marking of the cleaned and / or still to be cleaned surface is virtually overlaid.

Ebenfalls ist denkbar, dass beispielsweise der noch nicht gereinigte und somit noch zu reinigende Bereich der Oberfläche markiert wird. Beispielsweise können dem Benutzer durch ein virtuelles, visuelles Ausgeben der ermittelten reinigungsbezogenen Information virtuelle Marker, beispielsweise Schmutzpartikel, im Bereich der noch nicht gereinigten und somit noch zu reinigenden Oberfläche angezeigt werden.It is also conceivable that, for example, the not yet cleaned and therefore still to be cleaned area of the surface is marked. By way of example, virtual markers, for example dirt particles, can be displayed to the user by virtue of a virtual, visual output of the ascertained cleaning-related information in the area of the surface which has not yet been cleaned and thus remains to be cleaned.

Gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung umfasst das Verfahren weiterhin:

  • Ermitteln zusätzlicher reinigungsbezogener Informationen basierend auf einer Erfassung, insbesondere optischen Erfassung der gereinigten und/oder noch zu reinigenden Oberfläche und
  • Bereitstellen der ermittelten zusätzlichen reinigungsbezogenen Informationen für den Benutzer über die Ausgabeeinheit zur Unterstützung der Reinigung.
According to another preferred embodiment of the different aspects of the invention, the method further comprises:
  • Determining additional cleaning-related information based on a detection, in particular optical detection of the cleaned and / or still to be cleaned surface and
  • Providing the determined additional cleaning related information to the user via the dispensing unit to assist cleaning.

Hierdurch können die Qualität und die Effizienz der Reinigung weiterhin verbessert werden, da durch das Bereitstellen der zusätzlichen reinigungsbezogenen Informationen das Reinigungsverhalten des Benutzers beeinflusst werden kann.As a result, the quality and the efficiency of the cleaning can be further improved, since by providing the additional cleaning-related information, the cleaning behavior of the user can be influenced.

Das Bereitstellen der ermittelten zusätzlichen reinigungsbezogenen Informationen für den Benutzer über die Ausgabeeinheit zur Unterstützung der Reinigung kann beispielsweise wie bereits in Zusammenhang mit dem Bereitstellen der ermittelten reinigungsbezogenen Informationen beschrieben erfolgen.The provision of the determined additional cleaning-related information for the user via the output unit for assisting the cleaning can be carried out, for example, as already described in connection with the provision of the determined cleaning-related information.

Durch die Erfassung der gereinigten und/oder noch zu reinigenden Oberfläche kann beispielsweise eine Oberflächeneigenschaft der Oberflächen erkannt werden, beispielsweise ein Oberflächentyp oder eine Verschmutzung der Oberfläche. Die Erfassung erfolgt bevorzugt durch eine optische Erfassung der Oberfläche, wie bereits zuvor in Zusammenhang mit der optischen Erfassung des Reinigungsgeräts oder eines Teils hiervon beschrieben. Alternativ oder zusätzlich kann die Erfassung auch durch andere Sensoren, beispielsweise Sensoren des Reinigungsgeräts, erfolgen.By detecting the cleaned and / or still to be cleaned surface, for example, a surface property of the surfaces can be detected, for example, a surface type or contamination of the surface. The detection is preferably carried out by an optical detection of the surface, as already described above in connection with the optical detection of the cleaning device or a part thereof. Alternatively or additionally, the detection can also be effected by other sensors, for example sensors of the cleaning device.

Gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung umfassen die zusätzlichen reinigungsspezifischen Informationen eine empfohlene Einstellung des Reinigungsgeräts und/oder die Position lokaler Verschmutzungen.According to another preferred embodiment of the different aspects of the invention, the additional cleaning-specific information comprises a recommended setting of the cleaning device and / or the location of local soiling.

Durch das Bereitstellen derartiger zusätzlicher reinigungsbezogener Informationen für den Benutzer über die Ausgabeeinheit zur Unterstützung der Reinigung können die Qualität und Effizienz der Reinigung zusätzlich gesteigert werden. Beispielsweise ist die empfohlene Einstellung des Reinigungsgeräts eine bodenspezifische Einstellung, wie beispielsweise "Soft-Modus" oder eine Leistungsstufe, wie beispielsweise "Stufe 1", oder "Stufe 2". Beispielsweise erfolgt das Bereitstellen der zusätzlichen reinigungsbezogenen Informationen für den Benutzer über die Ausgabeeinheit visuell in Textform. Beispielsweise werden die zusätzlichen reinigungsspezifischen Informationen, welche die Position lokaler Verschmutzungen umfassen, visuell auf der Oberfläche dem Benutzer bereitgestellt, beispielsweise mittels Marker (etwa Kreise), welche auf die lokale Verschmutzung, wie etwa Grobgut oder Spotverschmutzung, hinweisen.By providing such additional cleaning-related information to the user via the output unit for assisting cleaning, the quality and efficiency of cleaning can be further enhanced. For example, the recommended setting of the cleaner is a floor-specific setting such as "soft mode" or a power level such as "level 1" or "level 2". For example, the provision of the additional cleaning related information to the user via the output unit is done visually in textual form. For example, the additional cleaning-specific information that includes the location of localized contaminants is visually provided on the surface to the user, for example, by markers (such as circles) indicative of local contamination, such as coarse material or spot contamination.

Gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung umfassen die eine oder mehrere Vorrichtungen ein elektronisches, optisches Hilfsmittel, insbesondere eine Datenbrille, und/oder das Reinigungsgerät.According to another preferred embodiment of the different aspects of the invention, the one or more devices comprise an electronic, optical aid, in particular a data goggles, and / or the cleaning device.

Unter einem elektronischen, optischen Hilfsmittel wird insbesondere ein tragbarer Miniaturcomputer, welcher Informationen ins Sichtfeld des Benutzers einblenden kann und bevorzugt auch die Umwelt optisch erfassen kann, verstanden. Das elektronische, optische Hilfsmittel ist beispielsweise tragbar, insbesondere zumindest teilweise am Kopf tragbar. Beispielsweise ist das elektronische, optische Hilfsmittel eine Datenbrille. Beispielswiese werden durch die Datenbrille Informationen ins Sichtfeld des Benutzers dadurch eingeblendet, dass ein Brillenglas der Datenbrille als Anzeigefläche (etwa Bildschirm) verwendet wird. Ebenfalls ist denkbar, dass eine Kontaktlinse als Anzeigefläche verwendet wird. Ebenfalls kann die Netzhaut des Auges des Benutzers als Anzeigefläche (Bildschirm) verwendet werden. Hierzu umfasst das optische Hilfsmittel beispielsweise die Ausgabeeinheit zum Bereitstellen der ermittelten (zusätzlichen) reinigungsbezogenen Informationen für den Benutzer zur Unterstützung der Reinigung. Das optische Hilfsmittel umfasst beispielsweise eine optische Erfassungseinheit zum Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon und gegebenenfalls zum Ermitteln der zusätzlichen reinigungsbezogenen Informationen. Damit kann das Verfahren beispielsweise allein durch das elektronische, optische Hilfsmittel ausgeführt werden. Ein derartiges optisches Hilfsmittel hat den Vorteil, dass dieses während der Reinigung durch den Benutzer getragen werden kann. Zudem kann das optische Hilfsmittel die ermittelten (zusätzlichen) reinigungsbezogenen Informationen visuell im Rahmen der erweiterten Realität dem Benutzer präzise bereitstellen. Zudem hat dieses den Vorteil, dass beispielsweise keine oder nur eine geringe Anpassung der Reinigungseinheit notwendig ist.Under an electronic, optical aids in particular a portable miniature computer, which can show information in the field of view of the user and preferably also the environment can optically understand understood. The electronic, optical aids, for example, portable, in particular at least partially portable on the head. For example, the electronic, optical aids are data glasses. For example, through the data glasses, information is displayed in the user's field of vision by using a spectacle lens of the data glasses as a display surface (such as a screen). It is also conceivable that a Contact lens is used as the display surface. Also, the retina of the user's eye can be used as a display area (screen). For this purpose, the optical aid comprises, for example, the output unit for providing the determined (additional) cleaning-related information for the user to support the cleaning. The optical aid comprises, for example, an optical detection unit for determining position information of the cleaning device or a part thereof and, if appropriate, for determining the additional cleaning-related information. Thus, the method can be performed, for example, solely by the electronic optical aids. Such an optical aid has the advantage that it can be worn during cleaning by the user. In addition, the optical tool can provide the determined (additional) cleaning-related information visually in the context of augmented reality to the user precisely. In addition, this has the advantage that, for example, no or only a small adjustment of the cleaning unit is necessary.

Allerdings ist ebenfalls denkbar, dass einzelne Schritte beispielsweise durch das Reinigungsgerät ausgeführt werden. Beispielsweise kann die Erfassung der Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon alternativ oder zusätzlich durch eine Erfassungseinheit des Reinigungsgeräts ausgeführt werden. Ebenfalls kann das Reinigungsgerät eine entsprechende Ausgabeeinheit aufweisen, welche die ermittelten (zusätzlichen) reinigungsbezogenen Informationen dem Benutzer bereitstellen kann, etwa durch akustische Signale oder durch Projektion auf die Oberfläche.However, it is also conceivable that individual steps are performed, for example, by the cleaning device. For example, the detection of the position information of the cleaning device or a part thereof may alternatively or additionally be performed by a detection unit of the cleaning device. Likewise, the cleaning device can have a corresponding output unit which can provide the determined (additional) cleaning-related information to the user, for example by acoustic signals or by projection onto the surface.

Gemäß einer weiteren bevorzugten Ausgestaltung der unterschiedlichen Aspekte der Erfindung ist das Reinigungsgerät ein Bodenreinigungsgerät, insbesondere ein Staubsauger oder ein Feuchtbodenreinigungsgerät.According to a further preferred embodiment of the different aspects of the invention, the cleaning device is a floor cleaning device, in particular a vacuum cleaner or a wet floor cleaning device.

Durch die Anwendung im Bereich von Bodenreinigungsgeräten kann die Qualität und Effizienz der Reinigung von Bodenflächen gesteigert werden. Der Staubsauger kann beispielsweise ein Bodenstaubsauger oder ein Handstaubsauger sein. Ist das Reinigungsgerät ein Staubsauger, kann das Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon, beispielsweise das Ermitteln von Positionsinformationen eines Vorsatzgerätes (beispielsweise ein Düsenaufsatz oder ein Bürstenkopf) des Staubsaugers sein. Hierdurch kann das Ermitteln von bereits gereinigten Bereichen vereinfacht werden.The application in the field of floor cleaning equipment can increase the quality and efficiency of floor cleaning. The vacuum cleaner can For example, be a vacuum cleaner or a hand vacuum cleaner. If the cleaner is a vacuum cleaner, determining position information of the cleaner or a portion thereof may be, for example, determining position information of an attachment (eg, a nozzle attachment or a brush head) of the cleaner. As a result, the determination of already cleaned areas can be simplified.

Insbesondere in Bezug auf eine Vorrichtung gemäß dem dritten Aspekt der Erfindung umfasst die Vorrichtung bevorzugt eine optische Erfassungseinheit zum Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon und/oder eine visuelle Ausgabeeinheit zum Bereitstellen der ermittelten reinigungsbezogenen Informationen für den Benutzer zur Unterstützung der Reinigung.In particular with regard to a device according to the third aspect of the invention, the device preferably comprises an optical detection unit for determining position information of the cleaning device or a part thereof and / or a visual output unit for providing the determined cleaning-related information to the user for assistance in cleaning.

Ebenfalls insbesondere in Bezug auf eine beispielshafte Ausgestaltung einer Vorrichtung gemäß dem dritten Aspekt der Erfindung ist oder umfasst die Vorrichtung ein elektronisches, optisches Hilfsmittel, insbesondere eine Datenbrille.Likewise, in particular with regard to an exemplary embodiment of a device according to the third aspect of the invention, the device is or comprises an electronic optical aid, in particular a data goggle.

Alternativ kann die Vorrichtung auch das Reinigungsgerät oder ein System aus dem Reinigungsgerät und eines elektronischen, optischen Hilfsmittels wie etwa einer Datenbrille sein.Alternatively, the device may also be the cleaning device or a system comprising the cleaning device and an electronic, optical aid, such as data glasses.

In Bezug auf weitere Ausgestaltungen und Vorteile, insbesondere des zweiten und dritten Aspekts wird auf die Ausführungen zum ersten Aspekte verwiesen.With regard to further embodiments and advantages, in particular of the second and third aspects, reference is made to the comments on the first aspects.

Gemäß dem vierten Aspekt der Erfindung wird die Eingangs genannte Aufgabe durch ein Reinigungsgerät, insbesondere ein Bodenreinigungsgerät, insbesondere zur Verwendung in einem Verfahren nach dem ersten Aspekt, gelöst, wobei das Reinigungsgerät mindestens ein Indikatorelement aufweist, wobei das mindestens eine Indikatorelement zur Unterstützung einer optischen Erfassung der Position des Reinigungsgeräts oder eines Teils hiervon ausgebildet ist.According to the fourth aspect of the invention, the object mentioned at the outset is achieved by a cleaning device, in particular a floor cleaning device, in particular for use in a method according to the first aspect, wherein the cleaning device has at least one indicator element, wherein the at least one indicator element supports optical detection the position of the cleaning device or a part thereof is formed.

Durch ein derartiges Reinigungsgerät können die Effizienz und Qualität der Reinigung verbessert werden, da das mindestens eine vorgesehene Indikatorelement ein optisches Erfassen des Reinigungsgeräts oder eines Teils hiervon vereinfacht und/oder präzisiert. Die reinigungsbezogenen Informationen sind dadurch besonders zuverlässig.By such a cleaning device, the efficiency and quality of the cleaning can be improved because the at least one indicator provided element facilitates optical detection of the cleaning device or a part thereof and / or specified. The cleaning-related information is therefore particularly reliable.

Das mindestens eine Indikatorelement kann (beispielsweise in Form eines Leuchtmarkers) eine Strahlung einer bestimmten Wellenlänge oder eines bestimmten Wellenlängenbereichs emittieren, beispielsweise im sichtbaren und/oder infraroten Bereich. Alternativ kann das Indikatorelement ein Reflektor sein, welcher Strahlung einer bestimmten Wellenlänge oder eines bestimmten Wellenlängenbereichs reflektiert.The at least one indicator element can emit (for example in the form of a highlighter) radiation of a specific wavelength or a specific wavelength range, for example in the visible and / or infrared range. Alternatively, the indicator element may be a reflector which reflects radiation of a specific wavelength or a specific wavelength range.

Bevorzugt ist das mindestens eine Indikatorelement so an dem Reinigungsgerät angeordnet, dass es während des Betriebs sichtbar, insbesondere für den Benutzer sichtbar ist.Preferably, the at least one indicator element is arranged on the cleaning device such that it is visible during operation, in particular visible to the user.

Bevorzugt sind mindestens zwei Indikatorelemente vorgesehen. Hierdurch wird insbesondere eine Erfassung der Lage oder Orientierung des Reinigungsgeräts oder eines Teils hiervon ermöglicht oder vereinfacht.Preferably, at least two indicator elements are provided. As a result, in particular a detection of the position or orientation of the cleaning device or a part thereof is made possible or simplified.

Besonders vorteilhaft ist ein System aus einem Reinigungsgerät gemäß dem vierten Aspekt in Kombination mit einer Vorrichtung gemäß dem drittem Aspekt in Form eines elektronischen, optischen Hilfsmittels, etwa einer Datenbrille.Particularly advantageous is a system of a cleaning device according to the fourth aspect in combination with a device according to the third aspect in the form of an electronic, optical aid, such as a data glasses.

Gemäß einer bevorzugten Ausgestaltung des Reinigungsgeräts gemäß dem vierten Aspekt ist das Reinigungsgerät ein Staubsauger, vorzugsweise mit einem Vorsatzgerät und vorzugsweise weist das Vorsatzgerät die Indikatorelemente auf. Beispielsweise weist das Vorsatzgerät die Indikatorelemente auf seiner Oberseite auf. Gemäß dem fünften Aspekt der Erfindung wird die eingangs genannte Aufgabe durch eine Verwendung eines elektronischen, optischen Hilfsmittels, insbesondere einer Datenbrille, zur Unterstützung einer Reinigung von Oberflächen mit einem Reinigungsgerät durch einen Benutzer, insbesondere in einem Verfahren nach dem ersten Aspekt gelöst.According to a preferred embodiment of the cleaning device according to the fourth aspect, the cleaning device is a vacuum cleaner, preferably with a header and preferably, the attachment on the indicator elements. For example, the attachment has the indicator elements on its top. According to the fifth aspect of the invention, the object mentioned at the outset is achieved by a use of an electronic, optical auxiliary device, in particular a data goggle, to assist a cleaning of surfaces with a cleaning device by a user, in particular in a method according to the first aspect.

Durch den Einsatz eines optischen Hilfsmittels (etwa einer Datenbrille) zur Unterstützung einer Reinigung von Oberflächen mit einem Reinigungsgerät können die Effizienz und Qualität der Reinigung gesteigert werden.By using an optical device (such as a data goggle) to assist in cleaning surfaces with a cleaning device, the efficiency and quality of cleaning can be increased.

Durch die vorherige oder folgende Beschreibung von Verfahrensschritten gemäß bevorzugter Ausführungsformen des Verfahrens sollen auch entsprechende Mittel zur Durchführung der Verfahrensschritte durch bevorzugte Ausführungsformen der Vorrichtung offenbart sein. Ebenfalls soll durch die Offenbarung von Mitteln zur Durchführung eines Verfahrensschrittes der entsprechende Verfahrensschritt offenbart sein.By the preceding or following description of method steps according to preferred embodiments of the method, corresponding means for carrying out the method steps by preferred embodiments of the device should also be disclosed. Likewise, by the disclosure of means for carrying out a method step, the corresponding method step should be disclosed.

Weitere vorteilhafte beispielhafte Ausgestaltungen der Erfindung sind der folgenden detaillierten Beschreibung beispielhafter Ausführungsformen der vorliegenden Erfindung, insbesondere in Verbindung mit den Figuren, zu entnehmen.Further advantageous exemplary embodiments of the invention are to be taken from the following detailed description of exemplary embodiments of the present invention, in particular in conjunction with the figures.

In der Zeichnung zeigen

Fig. 1
eine skizzenhafte Darstellung des Blickfeldes eines Benutzers beim Reinigen einer Bodenoberfläche mit einem Reinigungsgerät, wie es aus dem Stand der Technik bekannt ist;
Fig. 2
eine skizzenhafte Darstellung des Blickfeldes eines Benutzers beim Reinigen einer Bodenoberfläche mit einem Reinigungsgerät, wie sie ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung, welche ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens durchführt, ermöglicht;
Fig. 3a-k
eine Veranschaulichung einzelner Verfahrensschritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
Fig. 4a-c
weitere skizzenhafte Darstellungen des Blickfeldes eines Benutzers, wie sie ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung, welche ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens durchführt, ermöglicht;
Fig. 5
ein Ausführungsbeispiel eines erfindungsgemäßen Reinigungsgeräts;
Fig. 6
ein Blockdiagramm eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung;
Fig. 7
Ausführungsbeispiele von Speichermedien, auf denen ein erfindungsgemäßes Computerprogramm gespeichert sein kann.
In the drawing show
Fig. 1
a sketch of the field of view of a user when cleaning a floor surface with a cleaning device, as is known in the prior art;
Fig. 2
a sketch-like representation of the field of view of a user when cleaning a floor surface with a cleaning device, such as an embodiment of a device according to the invention, which Embodiment of a method according to the invention performs, allows;
Fig. 3a-k
an illustration of individual process steps of an embodiment of a method according to the invention;
Fig. 4a-c
further sketchy representations of the field of view of a user, such as an embodiment of a device according to the invention, which performs an embodiment of a method according to the invention allows;
Fig. 5
an embodiment of a cleaning device according to the invention;
Fig. 6
a block diagram of an embodiment of a device according to the invention;
Fig. 7
Embodiments of storage media on which a computer program according to the invention can be stored.

Fig. 1 zeigt zunächst eine skizzenhafte Darstellung des Blickfeldes eines Benutzers B beim Reinigen einer Bodenoberfläche 1, mit einem Reinigungsgerät 2, wie es aus dem Stand der Technik bekannt ist. Die Bodenoberfläche 1 ist in diesem Fall Teppichboden. Das Reinigungsgerät 2 ist ein Handstaubsauger mit einem Vorsatzgerät 4. Der Benutzer B führt die Reinigung manuell durch. Problematisch ist bei der Durchführung der Reinigung, dass Bereiche der Bodenoberfläche 1 einerseits nicht gereinigt werden, was die Qualität der Reinigung negativ beeinflusst. Andererseits werden Bereiche der Bodenoberfläche 1 mehrfach gereinigt, was die Effizienz der Reinigung negativ beeinflusst. Fig. 1 shows first a sketch-like representation of the field of view of a user B when cleaning a floor surface 1, with a cleaning device 2, as is known from the prior art. The floor surface 1 is carpet in this case. The cleaning device 2 is a hand vacuum cleaner with a header 4. The user B performs the cleaning manually. When carrying out the cleaning, it is problematic that areas of the floor surface 1 are not cleaned on the one hand, which negatively influences the quality of the cleaning. On the other hand, areas of the soil surface 1 are cleaned several times, which adversely affects the efficiency of cleaning.

Fig. 2 zeigt nun eine skizzenhafte Darstellung des Blickfeldes eines Benutzers beim Reinigen der Bodenoberfläche 1 mit dem Reinigungsgerät 2, wie sie ein Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung (beispielsweise Vorrichtung 100, Fig. 6), welche ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens durchführt, ermöglicht. Die Vorrichtung ist in diesem Fall als Datenbrille ausgebildet. Die Datenbrille kann mittels einer Ausgabeeinheit Informationen ins Auge des Benutzers B einblenden, sodass diese im Blickfeld des Benutzers erscheinen und der realen Welt überlagert werden. Dies wird auch als erweiterte Realität bezeichnet. Durch die Datenbrille werden ermittelte reinigungsbezogene Informationen über die Ausgabeeinheit für den Benutzer zur Unterstützung der Reinigung visuell bereitgestellt. Dabei werden die ermittelten reinigungsbezogenen Informationen virtuell auf der gereinigten Oberfläche 1 dargestellt. Fig. 2 now shows a sketch-like representation of the field of view of a user when cleaning the soil surface 1 with the cleaning device 2, as they are Embodiment of a device according to the invention (for example, device 100, Fig. 6 ), which performs an embodiment of a method according to the invention allows. The device is designed in this case as a data goggles. The data glasses can show information by means of an output unit in the eye of the user B, so that they appear in the field of vision of the user and are superimposed on the real world. This is also called augmented reality. The data glasses visually provide cleaning-related information about the user output unit for assisting cleaning. The determined cleaning-related information is displayed virtually on the cleaned surface 1.

Die ermittelten reinigungsbezogenen Informationen umfassen insbesondere Informationen über bereits gereinigte Bereiche. Die Informationen, welcher Bereich der Oberfläche 1 bereits gereinigt ist, werden als farblich markierte Fläche 5 dem Benutzer B bereitgestellt.The determined cleaning-related information in particular includes information about already cleaned areas. The information which area of the surface 1 has already been cleaned is provided to the user B as a color-marked area 5.

Wie die in Fig. 2 gezeigte bereitgestellte Information ermittelt werden kann, wird in Zusammenhang mit den Fig. 3a-k näher erklärt, welche einzelne Verfahrensschritte des Ausführungsbeispiels eines erfindungsgemäßen Verfahrens veranschaulichen.Like the in Fig. 2 shown provided information is in connection with the Fig. 3a-k explains in more detail which illustrate individual process steps of the embodiment of a method according to the invention.

Hierzu kann die Datenbrille das in Fig. 3a dargestellte Blickfeld mittels einer optischen Erfassungseinheit in Form einer Videokamera optisch erfassen. Das in Fig. 3a zu sehende Blickfeld wird durch die Erfassungseinheit in Bildinformationen 7 umgewandelt. Hierzu wird beispielsweise ein Standbild aufgenommen oder es wird ein Einzelbild aus einem Videodatenstrom extrahiert.For this purpose, the data glasses in the Fig. 3a visual field represented by means of an optical detection unit in the form of a video camera optically. This in Fig. 3a The visual field to be seen is converted into image information 7 by the detection unit. For this purpose, a still image is recorded, for example, or a single image is extracted from a video data stream.

In den Bildinformationen 7 wird das Reinigungsgerät oder ein Teil hiervon identifiziert. In diesem Fall wird das Vorsatzgerät 4 des Staubsaugers 2 mittels eines entsprechenden Algorithmus identifiziert. Die Identifikation kann beispielsweise auf der Form und/oder Farbe des Vorsatzgerätes 4 basieren. Die ermittelte Position des Vorsatzgerätes 4 ist durch die gestrichelte Line 6 in Fig. 3b dargestellt. Auf diese Weise konnten Positionsinformationen des Vorsatzgerätes 4 als Teil des Staubsaugers 2 ermittelt werden, wobei das Ermitteln eine optische Erfassung eines Teils 4 des Reinigungsgeräts 2 umfasst.In the image information 7, the cleaning device or a part thereof is identified. In this case, the attachment 4 of the vacuum cleaner 2 is identified by means of a corresponding algorithm. The identification may for example be based on the shape and / or color of the attachment 4. The determined position of the attachment 4 is indicated by the dashed line 6 in FIG Fig. 3b shown. To this Way position information of the attachment 4 could be determined as part of the vacuum cleaner 2, wherein the detection comprises an optical detection of a part 4 of the cleaning device 2.

In einem weiteren Schritt wird der durch den Körper 8 des Staubsaugers 2 überdeckte Bildbereich der Bodenoberfläche 1 ermittelt. Die ermittelte Position des Körpers 8 des Staubsaugers 2 wird in Fig. 3c durch die gestrichelte Linie 10 dargestellt.In a further step, the image area of the floor surface 1 covered by the body 8 of the vacuum cleaner 2 is determined. The determined position of the body 8 of the vacuum cleaner 2 is in Fig. 3c represented by the dashed line 10.

Wie in Fig. 3c und Fig. 3d zu erkennen ist, werden sodann die den Körper 8 und das Vorsatzgerät 4 des Staubsaugers 2 darstellenden Bildbereiche ausgeschnitten.As in Fig. 3c and Fig. 3d can be seen, then the body 8 and the attachment 4 of the vacuum cleaner 2 representing image areas are cut out.

Anschließend wird der Bereich 12 der Bodenoberfläche 1, der durch das Vorsatzgerät 4 erfasst wird, markiert, beispielsweise eingefärbt, Fig. 3e. Der Bereich 12 ist repräsentativ für einen bereits gereinigten Bereich der Bodenoberfläche 1. Optional wird der durch den Körper 8 des Staubsaugers 2 überdeckte Bereich der Bodenoberfläche mit der Farbe des an den Staubsauger 2 angrenzenden Bildbereichs eingefärbt. Die in Fig. 3e dargestellte Bildinformation 7 kann zunächst zwischengespeichert werden.Subsequently, the area 12 of the ground surface 1, which is detected by the header 4, marked, for example, colored, Fig. 3e , The area 12 is representative of an already cleaned area of the floor surface 1. Optionally, the area of the floor surface covered by the body 8 of the vacuum cleaner 2 is colored with the color of the image area adjacent to the vacuum cleaner 2. In the Fig. 3e displayed image information 7 can first be cached.

Fig. 3f zeigt nun analog zu Fig. 3a zweite Bildinformationen 9, beispielsweise ein zweites Standbild oder ein weiteres Einzelbild aus dem Videodatenstrom. Die in den Fig. 3b bis Fig. 3e gezeigten Schritte werden nun für die zweiten Bildinformationen 9 wiederholt, sodass sich die in Fig. 3g gezeigten Bildinformationen 9 ergeben, wobei der Bereich 14 wiederum repräsentativ für einen bereits gereinigten Bereich der Bodenoberfläche 1 ist. Fig. 3f shows analogously to Fig. 3a second image information 9, for example a second still image or another single image from the video data stream. The in the Fig. 3b to Fig. 3e The steps shown are now repeated for the second image information 9, so that the in Fig. 3g shown image information 9, wherein the area 14 in turn is representative of an already cleaned area of the soil surface 1.

Anschließend werden die ersten Bildinformationen 7 und die zweiten Bildinformationen 9 zueinander ausgerichtet, wie in Fig. 3h gezeigt. Dabei wird vorzugsweise der Bereich der Bildinformationen, welcher den Staubsauger 2 enthält nicht herangezogen, da sich dieser relativ zur Bodenoberfläche 1 und zum Raum bewegt hat, und eine fehlerhafte Ausrichtung der Bildinformationen zueinander provozieren kann.Subsequently, the first image information 7 and the second image information 9 are aligned with each other, as in FIG Fig. 3h shown. In this case, preferably the area of the image information which contains the vacuum cleaner 2 is not used, since this is relative to the floor surface 1 and the space has moved, and may provoke a misalignment of the image information to each other.

Die Bereiche 12 und 14, welche einen bereits gereinigten Bereich der Bodenoberfläche repräsentieren, werden wie in Fig. 3i gezeigt zum Bereich 16 vereinigt. Das Ermitteln des Bereichs 16 ist ein Beispiel für das Ermitteln reinigungsbezogener Informationen, welche Informationen über einen bereits gereinigten Bereich der Oberfläche umfassen, basierend auf den zuvor ermittelten Positionsinformationen des Vorsatzgerätes 4.The areas 12 and 14, which represent an already cleaned area of the ground surface, become, as in FIG Fig. 3i shown to the area 16 united. Determining area 16 is an example of determining cleaning related information that includes information about an already cleaned area of the surface based on the previously determined position information of header 4.

Der Bereich 16 kann als ermittelte reinigungsbezogene Informationen mittels der Ausgabeeinheit der Datenbrille dem Benutzer zur Unterstützung der Reinigung bereitgestellt werden, Fig. 3j. Wird die Reinigung fortgesetzt ergibt sich für den Benutzer B beispielsweise das in Fig. 3k dargestellte Blickfeld durch die Datenbrille. Vorzugsweise wird dabei der Bereich 5 unter Auslassung der vom Staubsauger 2 momentan belegte Bildbereich dem Benutzer B bereitgestellt, sodass sich ein Blickfeld wie bereits in Fig. 2 gezeigt ergibt.The area 16 may be provided as determined cleaning-related information by the output unit of the data glasses to the user for the purpose of cleaning, Fig. 3j , If the cleaning is continued for the user B, for example, the in Fig. 3k shown field of view through the data glasses. In this case, the area 5 is preferably provided to the user B, omitting the image area currently occupied by the vacuum cleaner 2, so that a field of vision as in FIG Fig. 2 shown results.

Fig. 4a-c zeigen jeweils weitere skizzenhafte Darstellungen des Blickfeldes eines Benutzers, wie sie ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung, welche ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens durchführt, ermöglicht. Fig. 4a-c each show further sketchy representations of the field of view of a user, as it allows an embodiment of a device according to the invention, which performs an embodiment of a method according to the invention.

In Fig. 4a werden dem Benutzer ermittelte zusätzliche reinigungsbezogene Informationen visuell über die Ausgabeeinheit einer Datenbrille zur Unterstützung der Reinigung bereitgestellt. Dabei werden die ermittelten zusätzlichen reinigungsbezogenen Informationen ebenfalls virtuell auf der zu reinigenden Oberfläche 1 ausgegeben. Die Oberfläche umfasst hier zum einen einen Teppichboden 1a und zum anderen einen Hartboden 1b. Die zusätzlichen reinigungsbezogenen Informationen 20a, 20b umfassen in diesem Fall eine empfohlene Einstellung des Reinigungsgeräts 2, um die entsprechenden Bereiche der Oberfläche zu reinigen. Die zusätzlichen reinigungsbezogenen Informationen werden dem Benutzer jeweils in Form eines Textes bereitgestellt. Die Informationen 20a, 20b wurden beispielsweise basierend auf einer optischen Erfassung der Oberflächen 1a,1b durch die Kamera der Datenbrille ermittelt.In Fig. 4a For example, additional cleaning-related information determined to the user is provided visually via the data-goggles output unit for assisting cleaning. In this case, the determined additional cleaning-related information is likewise output virtually on the surface 1 to be cleaned. The surface here comprises on the one hand a carpet floor 1a and on the other hand a hard floor 1b. The additional cleaning-related information 20a, 20b in this case comprises a recommended setting of the cleaning device 2 in order to clean the corresponding areas of the surface. The Additional cleaning-related information is provided to the user in the form of a text. The information 20a, 20b has been determined, for example, based on an optical detection of the surfaces 1a, 1b by the camera of the data glasses.

Als weiteres Beispiel ermittelter zusätzlicher reinigungsbezogener Informationen können dem Benutzer, wie beispielshaft in Fig. 4b dargestellt, die Positionen lokaler Verschmutzungen 22 durch Positionsmarker 24 angezeigt werden. Die Informationen in Form des Positionsmarker 24 der lokalen Verschmutzung 22 wurden, beispielsweise basierend auf einer optischen Erfassung der Oberfläche 1 bzw. der Verschmutzung 22, durch die Kamera der Datenbrille ermittelt.As another example, additional cleaning related information may be provided to the user as described, for example, in US Pat Fig. 4b shown, the positions of local pollution 22 by position markers 24 are displayed. The information in the form of the position marker 24 of the local pollution 22 were determined, for example based on an optical detection of the surface 1 or the pollution 22, by the camera of the data glasses.

Fig. 4c zeigt ein weiteres Beispiel für das Bereitstellen von ermittelten reinigungsbezogenen Informationen über eine Datenbrille für den Benutzer zur Unterstützung der Reinigung. Zusätzlich zu den in Fig. 3k dargestellten Informationen in Form des Bereichs 5, welcher für einen bereits gereinigten Bereich repräsentativ ist, ist in Fig. 4c zusätzlich der noch nicht gereinigte und somit noch zu reinigende Bereich der Oberfläche 1 markiert. Hierzu werden dem Benutzer virtuelle Marker 26 in Form von Schmutzpartikeln im Bereich der noch nicht gereinigten und somit noch zu reinigenden Oberfläche 1 angezeigt. Fig. 4c shows another example of providing determined cleaning related information about a data glasses for the user to assist the cleaning. In addition to the in Fig. 3k in the form of area 5, which is representative of an already cleaned area, is shown in FIG Fig. 4c In addition, the not yet cleaned and therefore still to be cleaned area of the surface 1 marked. For this purpose, the user virtual markers 26 are displayed in the form of dirt particles in the area of not yet cleaned and thus still to be cleaned surface 1.

Fig. 5 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Reinigungsgeräts 2'. Das Reinigungsgerät 2' unterscheidet sich von dem Reinigungsgerät 2 dadurch, dass das Vorsatzgerät 4' des Reinigungsgeräts 2' auf seiner Oberseite zwei Indikatorelemente 30a, 30b aufweist, wobei die Indikatorelemente 30a,30b zur Unterstützung einer optischen Erfassung der Position des Vorsatzgerätes 4' des Reinigungsgeräts 2'ausgebildet sind. Die Indikatorelemente 30a, 30b sind hier als Leuchtmarker ausgebildet, welche beispielsweise Licht im optischen Bereich abgeben. Über die Geometrie und/oder den Abstand der Indikatorelemente 30a, 30b kann beispielsweise auf die momentane Ausrichtung bzw. Hubrichtung des Vorsatzgerätes 4' geschlossen werden. Das Reinigungsgerät 2' kann vorteilhaft in dem zuvor beschriebenen Verfahren anstelle des Reinigungsgeräts 2 eingesetzt werden, was die optische Erfassung des Vorsatzgerätes erleichtert. Fig. 5 shows an embodiment of a cleaning device 2 'according to the invention. The cleaning device 2 'differs from the cleaning device 2 in that the attachment 4' of the cleaning device 2 'has on its upper side two indicator elements 30a, 30b, wherein the indicator elements 30a, 30b support the optical detection of the position of the attachment 4' of the cleaning device 2'ausgebildet are. The indicator elements 30a, 30b are designed here as highlighters, which emit light in the optical range, for example. About the geometry and / or the distance of the indicator elements 30a, 30b can be closed, for example, to the current orientation or stroke direction of the attachment 4 '. The cleaning device 2 'may be advantageous in the above described method instead of the cleaning device 2 are used, which facilitates the optical detection of the attachment.

Fig. 6 zeigt schließlich ein Blockdiagramm eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung bzw. eines Teils hiervon. Die Vorrichtung 100 ist bevorzugt ein Computer, bevorzugt ein tragbarer Computer, beispielsweise eine Datenbrille. Es ist jedoch auch denkbar, dass die Vorrichtung 100 beispielsweise ein Smartphone ist. Ebenfalls ist denkbar, dass die Vorrichtung 100 ein Reinigungsgerät ist. Der Prozessor 105 der Vorrichtung 1 ist insbesondere als Mikroprozessor, Mikrokontrolleinheit wie Mikrocontroller, digitaler Signalprozessor (DSP), Anwendungsspezifische Integrierte Schaltung (ASIC) oder Field Programmable Gate Array (FPGA) ausgebildet. Der Prozessor 105 führt Programmanweisungen aus, die in Programmspeicher 120 gespeichert sind, und speichert beispielsweise Zwischenergebnisse oder ähnliches in einem Hauptspeicher 110. Zum Beispiel ist der Programmspeicher 120 ein nicht-flüchtiger Speicher wie ein Flash-Speicher, ein Magnetspeicher, ein EEPROM-Speicher (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und/oder ein optischer Speicher. Der Hauptspeicher 110 ist zum Beispiel ein flüchtiger oder nicht-flüchtiger Speicher, insbesondere ein Speicher mit wahlfreiem-Zugriff (RAM) wie ein statischer RAM-Speicher (SRAM), ein dynamischer RAM-Speicher (DRAM), ein ferroelektrischer RAM-Speicher (FeRAM) und/oder ein magnetischer RAM-Speicher (MRAM). Fig. 6 finally shows a block diagram of an embodiment of a device according to the invention or a part thereof. The device 100 is preferably a computer, preferably a portable computer, for example a smart phone. However, it is also conceivable that the device 100 is, for example, a smartphone. It is also conceivable that the device 100 is a cleaning device. The processor 105 of the device 1 is designed in particular as a microprocessor, microcontroller such as microcontroller, digital signal processor (DSP), application-specific integrated circuit (ASIC) or Field Programmable Gate Array (FPGA). The processor 105 executes program instructions stored in the program memory 120 and stores, for example, intermediate results or the like in a main memory 110. For example, the program memory 120 is a non-volatile memory such as a flash memory, a magnetic memory, an EEPROM memory ( electrically erasable programmable read only memory) and / or optical memory. The main memory 110 is, for example, a volatile or nonvolatile memory, particularly a random access memory (RAM) such as a static RAM (SRAM), a dynamic RAM (DRAM), a ferroelectric RAM (FeRAM) ) and / or a magnetic RAM memory (MRAM).

Der Programmspeicher 120 ist vorzugsweise ein lokaler mit der Vorrichtung 100 fest verbundener Datenträger. Mit der Vorrichtung 100 fest verbundene Datenträger sind beispielsweise Festplatten, die in die Vorrichtung 100 eingebaut sind. Alternativ kann der Datenträger beispielsweise auch ein mit der Vorrichtung 100 trennbar verbindbarer Datenträger sein wie ein Speicher-Stick, ein Wechseldatenträger, eine tragbare Festplatte, eine CD, eine DVD und/oder eine Diskette.The program memory 120 is preferably a local volume permanently connected to the device 100. Hard disks permanently connected to the device 100 are, for example, hard disks which are built into the device 100. Alternatively, the data carrier may, for example, also be a data carrier that can be connected separably to the device 100, such as a memory stick, a removable data carrier, a portable hard disk, a CD, a DVD and / or a floppy disk.

Der Programmspeicher 120 enthält das Betriebssystem von der Vorrichtung 100, das beim Starten der Vorrichtung 100 zumindest teilweise in Hauptspeicher 110 geladen und vom Prozessor 105 ausgeführt wird. Insbesondere wird beim Starten von der Vorrichtung 100 zumindest ein Teil des Kerns des Betriebsystems in den Hauptspeicher 110 geladen und von dem Prozessor 105 ausgeführt. Das Betriebssystem von der Vorrichtung 100 ist beispielsweise ein Windows ¬, UNIX-, Linux-, Android-, Apple i0S- und/oder MAC-Betriebsystem.The program memory 120 contains the operating system from the device 100, which is at least partially loaded into main memory 110 when the device 100 is started and executed by the processor 105. In particular, at startup of device 100, at least a portion of the core of the operating system is loaded into main memory 110 and executed by processor 105. The operating system of the device 100 is, for example, a Windows, UNIX, Linux, Android, Apple i0S and / or MAC operating system.

Das Betriebssystem ermöglicht beispielsweise die Verwendung der Vorrichtung 100 zur Datenverarbeitung. Es verwaltet beispielsweise Betriebsmittel, wie Hauptspeicher 110 und Programmspeicher 120, Netzwerkschnittstelle 130, Ein- und Ausgabegerät 140, stellt unter anderem durch Programmierschnittstellen anderen Programmen grundlegende Funktionen zur Verfügung und steuert die Ausführung von Programmen.For example, the operating system allows the use of the computing device 100. For example, it manages resources such as main memory 110 and program memory 120, network interface 130, input and output device 140, provides basic functions to other programs through programming interfaces, and controls the execution of programs.

Der Prozessor 105 steuert die Netzwerkschnittstelle 130, wobei die Steuerung der Netzwerkschnittstelle 130 beispielsweise durch einen Treiber ermöglicht wird, der Teil des Kerns des Betriebssystems ist. Netzwerkschnittstelle 130 ist beispielsweise eine Netzwerkkarte, ein Netzwerkmodul und/oder ein Modem und ist eingerichtet, um eine Verbindung der Datenverarbeitungsanlage 1 mit einem Netzwerk herzustellen. Netzwerkschnittstelle 130 kann beispielsweise Daten über das Netzwerk empfangen und an Prozessor 105 weiterleiten und/oder Daten von Prozessor 105 empfangen und über das Netzwerk senden. Beispiele für ein Netzwerk sind ein lokales Netzwerk (LAN) wie ein Ethernet-Netzwerk oder ein IEEE 802-Netzwerk, ein großräumiges Netzwerk (WAN), ein drahtloses Netzwerk, ein drahtgebundenes Netzwerk, ein Mobilfunknetzwerk, ein Telefonnetzwerk und/oder das Internet.The processor 105 controls the network interface 130, the control of the network interface 130 being enabled, for example, by a driver that is part of the kernel of the operating system. Network interface 130 is, for example, a network card, a network module and / or a modem and is set up to connect the data processing system 1 to a network. For example, network interface 130 may receive data over the network and forward to processor 105 and / or receive and transmit data from processor 105 over the network. Examples of a network are a local area network (LAN) such as an Ethernet network or an IEEE 802 network, a wide area network (WAN), a wireless network, a wired network, a cellular network, a telephone network, and / or the Internet.

Des Weiteren kann Prozessor 105 zumindest ein Ein-/Ausgabegerät 140 steuern. Das Ein-/Ausgabegerät 140 umfasst beispielsweise eine optische Erfassungseinheit, beispielsweise eine Kamera, zum Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon. Das Ein-/Ausgabegerät 140 umfasst beispielsweise eine Ausgabeeinheit, beispielsweise eine Einheit zum Projizieren von Informationen in das Blickfeld des Benutzers im Rahmen einer erweiterten Realität zum Bereitstellen der ermittelten (zusätzlichen) reinigungsbezogenen Informationen für den Benutzer zur Unterstützung der Reinigung. Ebenfalls können beispielsweise eine Tastatur, eine Maus, ein Mikrofon, eine berührungsempfindliche Anzeigeeinheit, ein Lautsprecher, ein Lesegerät und/oder ein Laufwerk vorgesehen sein. Ein-/Ausgabegerät 140 kann beispielsweise Eingaben eines Benutzers aufnehmen und an Prozessor 105 weiterleiten und/oder Informationen für den Benutzer von Prozessor 105 empfangen und ausgeben.Furthermore, processor 105 may control at least one input / output device 140. The input / output device 140 includes, for example, an optical detection unit, for example a camera, for determining position information of the cleaning device or a part thereof. The input / output device 140 comprises, for example, an output unit, for example a unit for projecting information into the field of vision of the user in the context of an augmented reality to provide the determined (additional) cleaning related information to the user to assist cleaning. Also, for example, a keyboard, a mouse, a microphone, a touch-sensitive display unit, a speaker, a reader and / or a drive may be provided. Input / output device 140 may, for example, pick up inputs from a user and forward them to processor 105 and / or receive and output information to the user of processor 105.

Fig. 7 zeigt Ausführungsbeispiele von Speichermedien, auf denen ein erfindungsgemäßes Computerprogramm gespeichert sein kann. Das Speichermedium kann beispielsweise ein magnetisches, elektrisches, optisches und/oder andersartiges Speichermedium sein. Das Speichermedium kann beispielsweise Teil eines Prozessors (z.B. des Prozessor 105 der Fig. 6) sein, beispielsweise ein (nicht-flüchtiger oder flüchtiger) Programmspeicher des Prozessors oder ein Teil davon (wie Programmspeicher 120 in Fig. 6). Ausführungsbeispiele eines Speichermediums sind eine Diskette 700, eine CD-ROM oder DVD 710, ein Memory Stick 720 (z.B. ein USB-Stick), oder eine Speicherkarte 730. Ein weiteres Ausführungsbeispiel eines erfindungsgemäßen Speichermediums ist ein Flash-Speicher. Fig. 7 shows exemplary embodiments of storage media on which a computer program according to the invention can be stored. The storage medium may be, for example, a magnetic, electrical, optical and / or different storage medium. The storage medium may be part of a processor (eg, the processor 105 of the Fig. 6 ), for example, a (non-volatile or volatile) program memory of the processor or a part thereof (such as program memory 120 in Fig. 6 ). Embodiments of a storage medium are a floppy disk 700, a CD-ROM or DVD 710, a memory stick 720 (eg a USB stick), or a memory card 730. Another embodiment of a storage medium according to the invention is a flash memory.

Die in dieser Spezifikation beschriebenen Ausführungsbeispiele der vorliegenden Erfindung und die diesbezüglich jeweils angeführten optionalen Merkmale und Eigenschaften sollen auch in allen Kombinationen miteinander offenbart verstanden werden. Insbesondere soll auch die Beschreibung eines von einer Ausführungsform umfassten Merkmals - sofern nicht explizit gegenteilig erklärt - vorliegend nicht so verstanden werden, dass das Merkmal für die Funktion des Ausführungsbeispiels unerlässlich oder wesentlich ist. Die Abfolge der in dieser Spezifikation geschilderten Verfahrensschritte in den einzelnen Ablaufdiagrammen ist nicht zwingend, alternative Abfolgen der Verfahrensschritte sind denkbar. Die Verfahrensschritte können auf verschiedene Art und Weise implementiert werden, so ist eine Implementierung in Software (durch Programmanweisungen), Hardware oder eine Kombination von beidem zur Implementierung der Verfahrensschritte denkbar. In denThe exemplary embodiments of the present invention described in this specification and the respective optional features and properties cited in this context should also be understood to be disclosed in all combinations with one another. In particular, the description of a feature encompassed by an embodiment is - unless explicitly explained to the contrary - not be understood in this case as meaning that the feature is essential or essential for the function of the exemplary embodiment. The sequence of the method steps described in this specification in the individual flowcharts is not mandatory, alternative sequences of the method steps are conceivable. The method steps can be implemented in various ways, so an implementation in software (by program instructions), hardware, or a combination of both to implement the method steps is conceivable. In the

Patentansprüchen verwendete Begriffe wie "umfassen", "aufweisen", "beinhalten", "enthalten" und dergleichen schließen weitere Elemente oder Schritte nicht aus. Unter die Formulierung "zumindest teilweise" fallen sowohl der Fall "teilweise" als auch der Fall "vollständig". Die Formulierung "und/oder" soll dahingehend verstanden werden, dass sowohl die Alternative als auch die Kombination offenbart sein soll, also "A und/oder B" bedeutet "(A) oder (B) oder (A und B)". Die Verwendung des unbestimmten Artikels schließt eine Mehrzahl nicht aus. Eine einzelne Vorrichtung kann die Funktionen mehrerer in den Patentansprüchen genannter Einheiten bzw. Vorrichtungen ausführen. In den Patentansprüchen angegebene Bezugszeichen sind nicht als Beschränkungen der eingesetzten Mittel und Schritte anzusehen.As used herein, terms such as "comprising," "having," "including," "containing," and the like, do not exclude other elements or steps. The phrase "at least partially" includes both the "partial" and "full" cases. The expression "and / or" should be understood to mean that both the alternative and the combination should be disclosed, ie "A and / or B" means "(A) or (B) or (A and B)". The use of the indefinite article does not exclude a majority. A single device may perform the functions of a plurality of devices or devices recited in the claims. Reference signs indicated in the claims should not be regarded as limitations on the means and steps employed.

Claims (17)

Verfahren zur Unterstützung einer Reinigung von Oberflächen mit einem Reinigungsgerät durch einen Benutzer, wobei das Verfahren durch eine oder mehrere Vorrichtungen ausgeführt wird, umfassend: - Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon, - Ermitteln reinigungsbezogener Informationen basierend auf den ermittelten Positionsinformationen und - Bereitstellen der ermittelten reinigungsbezogenen Informationen über eine Ausgabeeinheit für den Benutzer zur Unterstützung der Reinigung. A method of assisting cleaning of surfaces with a cleaning device by a user, the method being performed by one or more devices, comprising: Determining position information of the cleaning device or a part thereof, Determining cleaning-related information based on the determined position information and - Providing the determined cleaning-related information about an output unit for the user to support the cleaning. Verfahren nach Anspruch 1,
wobei das Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon eine optische Erfassung des Reinigungsgeräts oder eines Teils hiervon umfasst.
Method according to claim 1,
wherein determining position information of the cleaning device or a portion thereof comprises optically detecting the cleaning device or a portion thereof.
Verfahren nach Anspruch 1 oder 2,
wobei das Bereitstellen der ermittelten reinigungsbezogenen Informationen für den Benutzer über eine Ausgabeeinheit zur Unterstützung der Reinigung ein visuelles Ausgeben der ermittelten reinigungsbezogenen Informationen durch die Ausgabeeinheit umfasst.
Method according to claim 1 or 2,
wherein providing the determined cleaning-related information to the user via an output unit for assisting cleaning comprises visually outputting the determined cleaning-related information by the output unit.
Verfahren nach Anspruch 3,
wobei das visuelle Ausgeben auf der gereinigten und/oder noch zu reinigenden Oberfläche erfolgt.
Method according to claim 3,
wherein the visual output is carried out on the cleaned and / or still to be cleaned surface.
Verfahren nach Anspruch 3 oder 4,
wobei das visuelle Ausgeben der ermittelten reinigungsbezogenen Informationen durch die Ausgabeeinheit ein virtuelles Ausgeben ist.
Method according to claim 3 or 4,
wherein the visual output of the determined cleaning-related information by the output unit is a virtual output.
Verfahren nach einem der Ansprüche 1 bis 5,
wobei die ermittelten reinigungsbezogenen Informationen Informationen über bereits gereinigte und/oder noch zu reinigende Bereiche umfassen.
Method according to one of claims 1 to 5,
wherein the determined cleaning-related information includes information about already cleaned and / or still to be cleaned areas.
Verfahren nach einem der Ansprüche 1 bis 6,
wobei das Verfahren weiterhin umfasst: - Ermitteln zusätzlicher reinigungsbezogener Informationen basierend auf einer Erfassung, insbesondere optischen Erfassung der gereinigten und/oder noch zu reinigenden Oberfläche und - Bereitstellen der ermittelten zusätzlichen reinigungsbezogenen Informationen für den Benutzer über die Ausgabeeinheit zur Unterstützung der Reinigung.
Method according to one of claims 1 to 6,
the method further comprising: Determining additional cleaning-related information based on a detection, in particular optical detection of the cleaned and / or still to be cleaned surface and Providing the determined additional cleaning related information to the user via the output unit to assist cleaning.
Verfahren nach Anspruch 7,
wobei die zusätzlichen reinigungsspezifischen Informationen eine empfohlene Einstellung des Reinigungsgeräts und/oder die Position lokaler Verschmutzungen umfassen.
Method according to claim 7,
wherein the additional cleaning-specific information includes a recommended setting of the cleaning device and / or the location of local soiling.
Verfahren nach einem der Ansprüche 1 bis 8,
wobei die eine oder mehrere Vorrichtungen ein elektronisches, optisches Hilfsmittel, insbesondere eine Datenbrille, und/oder das Reinigungsgerät umfassen.
Method according to one of claims 1 to 8,
wherein the one or more devices comprise an electronic, optical aid, in particular a data goggles, and / or the cleaning device.
Verfahren nach einem der Ansprüche 1 bis 9,
wobei das Reinigungsgerät ein Bodenreinigungsgerät, insbesondere ein Staubsauger oder ein Feuchtbodenreinigungsgerät, ist.
Method according to one of claims 1 to 9,
wherein the cleaning device is a floor cleaning device, in particular a vacuum cleaner or a wet floor cleaning device.
Computerprogramm, das Programmanweisungen umfasst, die einen Prozessor (105) zur Ausführung und/oder Steuerung eines Verfahrens gemäß einem der Ansprüche 1 bis 10 veranlassen, wenn das Computerprogramm auf dem Prozessor (105) läuft.A computer program comprising program instructions that cause a processor (105) to execute and / or control a method according to any one of claims 1 to 10 when the computer program is run on the processor (105). Vorrichtung (100) umfassend zumindest einen Prozessor (105) und zumindest einen Speicher (120) mit Computerprogrammcode, wobei der zumindest eine Speicher (120) und der Computerprogrammcode dazu eingerichtet sind, mit dem zumindest einen Prozessor (105), zumindest das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen und/oder zu steuern.Device (100) comprising at least one processor (105) and at least one memory (120) with computer program code, wherein the at least one memory (120) and the computer program code are arranged with the at least one processor (105), at least the method according to of claims 1 to 10 execute and / or to control. Vorrichtung nach Anspruch 12,
wobei die Vorrichtung (100) eine optische Erfassungseinheit (140) zum Ermitteln von Positionsinformationen des Reinigungsgeräts oder eines Teils hiervon und/oder eine visuelle Ausgabeeinheit (140) zum Bereitstellen der ermittelten reinigungsbezogenen Informationen für den Benutzer (B) zur Unterstützung der Reinigung umfasst.
Device according to claim 12,
wherein the device (100) comprises an optical detection unit (140) for determining position information of the cleaning device or a part thereof and / or a visual output unit (140) for providing the determined cleaning-related information to the user (B) to assist cleaning.
Vorrichtung nach Anspruch 12 oder 13,
wobei die Vorrichtung (100) ein elektronisches, optisches Hilfsmittel, insbesondere eine Datenbrille, ist oder umfasst.
Device according to claim 12 or 13,
wherein the device (100) is or comprises an electronic, optical aid, in particular a data goggle.
Reinigungsgerät (2'), insbesondere Bodenreinigungsgerät, insbesondere zur Verwendung in einem Verfahren nach einem der Ansprüche 1 bis 10,
wobei das Reinigungsgerät (2') mindestens ein Indikatorelement (30a, 30b) aufweist, wobei das mindestens eine Indikatorelement (30a, 30b) zur Unterstützung einer optischen Erfassung der Position des Reinigungsgeräts (2') oder eines Teils (4') hiervon ausgebildet ist.
Cleaning device (2 '), in particular floor cleaning device, in particular for use in a method according to one of claims 1 to 10,
wherein the cleaning device (2 ') comprises at least one indicator element (30a, 30b), wherein the at least one indicator element (30a, 30b) is designed to assist in optically detecting the position of the cleaning device (2') or a part (4 ') thereof ,
Reinigungsgerät nach Anspruch 15,
wobei das Reinigungsgerät (2') ein Staubsauger vorzugsweise mit einem Vorsatzgerät (4') ist und vorzugsweise das Vorsatzgerät (4') die Indikatorelemente (30a, 30b) aufweist.
Cleaning device according to claim 15,
wherein the cleaning device (2 ') is a vacuum cleaner, preferably with a front attachment (4') and preferably the attachment (4 '), the indicator elements (30a, 30b).
Verwendung eines elektronischen, optischen Hilfsmittels, insbesondere einer Datenbrille, zur Unterstützung einer Reinigung von Oberflächen mit einem Reinigungsgerät durch einen Benutzer, insbesondere in einem Verfahren nach einem der Ansprüche 1 bis 10.Use of an electronic, optical aid, in particular a data goggle, to assist a cleaning of surfaces with a cleaning device by a user, in particular in a method according to one of claims 1 to 10.
EP16174754.8A 2015-06-24 2016-06-16 Support for surface cleaning Active EP3108789B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015110140.8A DE102015110140A1 (en) 2015-06-24 2015-06-24 Support of a surface cleaning

Publications (2)

Publication Number Publication Date
EP3108789A1 true EP3108789A1 (en) 2016-12-28
EP3108789B1 EP3108789B1 (en) 2019-01-23

Family

ID=56132848

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16174754.8A Active EP3108789B1 (en) 2015-06-24 2016-06-16 Support for surface cleaning

Country Status (7)

Country Link
EP (1) EP3108789B1 (en)
JP (1) JP6457976B2 (en)
CN (1) CN106264384B (en)
DE (1) DE102015110140A1 (en)
ES (1) ES2713704T3 (en)
SG (1) SG10201605116RA (en)
TW (1) TW201716026A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11103116B2 (en) 2017-12-20 2021-08-31 Dyson Technology Limited Vacuum cleaner

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018079134A (en) * 2016-11-17 2018-05-24 三菱電機株式会社 Cleaning support device, cleaning support method, and cleaning support system
DE102017104513B4 (en) 2017-03-03 2019-06-27 Deutsches Zentrum für Luft- und Raumfahrt e.V. Land maintenance equipment
DE102017118554A1 (en) * 2017-08-15 2019-02-21 Vorwerk & Co. Interholding Gmbh Vacuum cleaner with position determination and method for operating a vacuum cleaner
CN109363578B (en) * 2018-09-13 2020-12-04 珠海格力电器股份有限公司 Cleaning monitoring method and device, dust collector and mobile terminal
DE102019109596A1 (en) * 2019-04-11 2020-10-15 Vorwerk & Co. Interholding Gmbh System consisting of a manually operated soil cultivation device, an exclusively automatically operated soil cultivation device and a computing device
DE102020114179A1 (en) 2020-05-27 2021-12-02 Alfred Kärcher SE & Co. KG Floor cleaning system
JP7461801B2 (en) 2020-06-04 2024-04-04 アマノ株式会社 Cleaning device, program and display terminal
DE102020212046B4 (en) 2020-09-24 2023-06-22 BSH Hausgeräte GmbH Control of a pneumatic processing device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05245083A (en) * 1992-03-02 1993-09-24 Kazunori Tsukiki Cleaner with tv camera
US6457206B1 (en) * 2000-10-20 2002-10-01 Scott H. Judson Remote-controlled vacuum cleaner
US20020152576A1 (en) * 2001-04-20 2002-10-24 Pro-Team, Inc. An Idaho Corporation Method and apparatus for improved use, maintenance and management of floor maintenance equipment
WO2005107559A1 (en) * 2004-05-12 2005-11-17 Koninklijke Philips Electronics N.V. Domestic surface treatment appliance provided with tracking means and tracking module for use with such appliance
EP2725443A2 (en) * 2012-10-26 2014-04-30 LG Electronics, Inc. Robot cleaner system and control method of the same
US20140184801A1 (en) * 2013-01-02 2014-07-03 Samsung Electronics Co., Ltd. Wearable video device and video system including the same
WO2015041036A1 (en) * 2013-09-18 2015-03-26 村田機械株式会社 Autonomously traveling floor washer, cleaning schedule data structure, storage medium, method for creating cleaning schedule, and program
WO2015081979A1 (en) * 2013-12-02 2015-06-11 Alfred Kärcher Gmbh & Co. Kg Method for monitoring an operation location of a surface processing device, and monitoring system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3293314B2 (en) * 1994-04-14 2002-06-17 ミノルタ株式会社 Cleaning robot
KR100466321B1 (en) * 2002-10-31 2005-01-14 삼성광주전자 주식회사 Robot cleaner, system thereof and method for controlling the same
JP2004160065A (en) * 2002-11-15 2004-06-10 Matsushita Electric Ind Co Ltd Electric cleaner
US7603744B2 (en) * 2004-04-02 2009-10-20 Royal Appliance Mfg. Co. Robotic appliance with on-board joystick sensor and associated methods of operation
KR20080051936A (en) * 2006-12-07 2008-06-11 삼성광주전자 주식회사 An automatic docking-inducing apparatus of a robot
KR20090077547A (en) * 2008-01-11 2009-07-15 삼성전자주식회사 Method and apparatus of path planning for a mobile robot
KR101484940B1 (en) * 2009-05-14 2015-01-22 삼성전자 주식회사 Robot cleaner and control method thereof
KR20100132891A (en) * 2009-06-10 2010-12-20 삼성광주전자 주식회사 A cleaning device and a dust collecting method thereof
PL394570A1 (en) * 2011-04-15 2012-10-22 Robotics Inventions Spólka Z Ograniczona Odpowiedzialnoscia Robot for raised floors and method for raised floor maintenance
KR101966127B1 (en) * 2013-09-05 2019-04-05 엘지전자 주식회사 robot cleaner system and a control method of the same
DE102014217843A1 (en) * 2014-09-05 2016-03-10 Martin Cudzilo Apparatus for facilitating the cleaning of surfaces and methods for detecting cleaning work done

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05245083A (en) * 1992-03-02 1993-09-24 Kazunori Tsukiki Cleaner with tv camera
US6457206B1 (en) * 2000-10-20 2002-10-01 Scott H. Judson Remote-controlled vacuum cleaner
US20020152576A1 (en) * 2001-04-20 2002-10-24 Pro-Team, Inc. An Idaho Corporation Method and apparatus for improved use, maintenance and management of floor maintenance equipment
WO2005107559A1 (en) * 2004-05-12 2005-11-17 Koninklijke Philips Electronics N.V. Domestic surface treatment appliance provided with tracking means and tracking module for use with such appliance
EP2725443A2 (en) * 2012-10-26 2014-04-30 LG Electronics, Inc. Robot cleaner system and control method of the same
US20140184801A1 (en) * 2013-01-02 2014-07-03 Samsung Electronics Co., Ltd. Wearable video device and video system including the same
WO2015041036A1 (en) * 2013-09-18 2015-03-26 村田機械株式会社 Autonomously traveling floor washer, cleaning schedule data structure, storage medium, method for creating cleaning schedule, and program
WO2015081979A1 (en) * 2013-12-02 2015-06-11 Alfred Kärcher Gmbh & Co. Kg Method for monitoring an operation location of a surface processing device, and monitoring system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11103116B2 (en) 2017-12-20 2021-08-31 Dyson Technology Limited Vacuum cleaner

Also Published As

Publication number Publication date
JP6457976B2 (en) 2019-01-23
DE102015110140A1 (en) 2016-12-29
SG10201605116RA (en) 2017-01-27
JP2017051597A (en) 2017-03-16
CN106264384B (en) 2020-08-18
EP3108789B1 (en) 2019-01-23
ES2713704T3 (en) 2019-05-23
CN106264384A (en) 2017-01-04
TW201716026A (en) 2017-05-16

Similar Documents

Publication Publication Date Title
EP3108789B1 (en) Support for surface cleaning
DE102018109463C5 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user using a mobile display device
DE102015015503B4 (en) Robotic system having an augmented reality compatible display
EP2741483B1 (en) Mobile cleaning device and method for one's operation
EP1763845B1 (en) Method and device for determining optical overlaps with ar objects
DE102015100419A1 (en) Method and arrangement for processing floor surfaces
DE102013101767A1 (en) Cleaning robot and control method for it
EP2922384B1 (en) Autonomous locomotion device
DE102018200011A1 (en) Test system and method for testing a control of an at least partially autonomous vehicle in a virtual environment
EP3518055B1 (en) Monitoring and control system for a production workspace and method for producing a product or partial product
EP3392738B1 (en) Method for operating an automatically moving vehicle
DE102014214058A1 (en) Device for producing a three-dimensional object and method for operating such a device
DE102013207063A1 (en) A method of selecting an information source from a plurality of information sources for display on a display of data glasses
EP3413155A1 (en) Method for the detection of at least one section of a limiting edge of a surface to be processed, method for operating an autonomous mobile green area processing robot, detection system and green area processing system
DE102013005489A1 (en) Method and device for the automatic detection of defects in limp bodies
DE102013013698A1 (en) Method for operating electronic data glasses and electronic data glasses
WO2018041711A1 (en) Interactive control device
DE102014104673A1 (en) Process support system and method for supporting a process
DE102016104462A1 (en) Regulator for controlling an air conditioning outlet in a vehicle
DE102007041482A1 (en) Method for automatic recognition of at least the type and / or the position of a gesture formed with a limb, in particular a hand gesture
EP3534240A1 (en) Method and device for data annotation
EP2942253B1 (en) Motor vehicle
AT520579A1 (en) Method and device for detecting an obstacle-free area
DE102019131583A1 (en) System with at least two automatically moving soil cultivation devices as well as a method for operating a system
DE102018211908A1 (en) Method for capturing a digital image of an environment of a motor vehicle and motor vehicle with an image capturing device

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170623

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180801

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502016003185

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1090806

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2713704

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20190523

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190423

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190523

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190423

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190523

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190424

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502016003185

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20191024

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190616

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190630

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190630

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190630

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190616

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CZ

Payment date: 20200605

Year of fee payment: 5

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20200616

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200616

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20160616

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210616

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190123

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1090806

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210616

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210616

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230517

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230622

Year of fee payment: 8

Ref country code: DE

Payment date: 20230620

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230630

Year of fee payment: 8

Ref country code: ES

Payment date: 20230719

Year of fee payment: 8