EP3987434A1 - Trainieren eines intelligenten hausgeräts - Google Patents

Trainieren eines intelligenten hausgeräts

Info

Publication number
EP3987434A1
EP3987434A1 EP20734867.3A EP20734867A EP3987434A1 EP 3987434 A1 EP3987434 A1 EP 3987434A1 EP 20734867 A EP20734867 A EP 20734867A EP 3987434 A1 EP3987434 A1 EP 3987434A1
Authority
EP
European Patent Office
Prior art keywords
camera
images
sheet
training data
basis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20734867.3A
Other languages
English (en)
French (fr)
Inventor
Clemens Hage
Michal Nasternak
Cristina Rico Garcia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3987434A1 publication Critical patent/EP3987434A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the invention relates to an intelligent household appliance.
  • the invention relates to a domestic appliance with a camera for recognizing objects in an interior of the domestic appliance.
  • An intelligent refrigerator comprises a camera for capturing an image of an interior and a processing device.
  • the processing device processes the image and can recognize an object arranged in the interior. For example, different foods can be recorded in the refrigerator, which can be helpful for creating a shopping list, for example.
  • the recognition works preferably by means of machine-implemented learning.
  • the processing device can already be trained to recognize certain objects.
  • the processing device can implement an artificial neural network, for example.
  • unknown objects cannot be detected, so a full inventory of the refrigerator cannot be made.
  • WO2018212493A1 proposes a refrigerator with an internally mounted camera and an externally mounted display device.
  • a processing device can recognize an object in the refrigerator and display its name on the outside.
  • One object on which the present invention is based is to provide an improved technique for teaching a recognition device for recognizing an object in an interior space of a domestic appliance to a new object.
  • the invention solves this task by means of the subjects of the independent claims. Sub-claims reproduce preferred embodiments.
  • a method for training a recognition device to recognize an object in an interior space of a domestic appliance comprises steps of capturing images of the object placed on an alignment sheet from several (preferably predetermined) perspectives; generating training data based on the images; and training the preferably adaptive recognition device with the training data.
  • the alignment sheet can be brought to predetermined positions in relation to a camera which is arranged immovably.
  • the camera itself is movable and, for example, a user can capture images of the object placed on the calibration sheet from multiple perspectives, with the images being able to be spatially assigned to one another based on the calibration sheet to be recognized in the images.
  • a position of the object with respect to the calibration sheet is preferably kept unchangeable in order to facilitate the spatial assignment of the images to one another.
  • the alignment sheet preferably comprises a thin, flat object on which the object can be arranged.
  • the calibration sheet can comprise paper, cardboard, cardboard, foil or sheet metal.
  • the calibration sheet can carry an optical marking so that its position can be determined on an image captured by the camera.
  • a position of the object can be easily determined on the basis of the determined position of the alignment sheet. In this way, images of the object can be made from the predetermined perspectives in a simple manner. The images can be sufficient to train the recognition device.
  • a trained recognition device can recognize the object, after it has been placed in the interior of the domestic appliance, on an image that was captured by means of a camera directed into the interior.
  • the domestic appliance can in particular comprise a refrigerator, a freezer, a climatic cabinet or a cooking device such as a roaster, a steam cooker or an oven.
  • the domestic appliance is preferably set up to store the object. In another embodiment, however, the domestic appliance can also be set up for processing the object, the object being able to be recognized when a predetermined degree of processing has been reached. For example, the achievement of a predetermined degree of doneness of a dish accommodated in an oven can be determined on the basis of optical features.
  • a three-dimensional model of the object is created on the basis of the images, it being possible for the training data to be generated on the basis of the three-dimensional model.
  • the three-dimensional model can be determined relatively easily on the basis of the images.
  • the model can be reworked, for example, to open or close a cavity that was not correctly recognized on the basis of the images. Artifacts or gaps in the model can also be reduced or eliminated. This processing can be done manually or automatically.
  • practically any number of training data can be created that may be required to enable the object to be recognized by the recognition device. If the recognition device works with an artificial neural network, several thousand, several tens of thousands or several hundred thousand training data may be required for good recognition.
  • the alignment sheet with the object can be moved to predetermined positions with respect to a camera for capturing the images.
  • an instruction for moving the alignment sheet with the object to a predetermined position relative to the camera can be provided.
  • the instruction can be given acoustically or visually, for example.
  • the visual output can be carried out symbolically, textually or graphically.
  • the calibration sheet with the object is at a predetermined position with respect to the camera.
  • a confirmation from a person can be recorded who optionally positions the calibration sheet with the object.
  • the reaching of a predetermined position by the adjustment sheet can be determined on the basis of an image from the camera. In this case, a confirmation can be issued that the position has been reached.
  • a predetermined number of positions are used, for example about 10-20.
  • a method for recognizing an object in an interior space of a domestic appliance comprises steps of a method described herein, capturing an image of the object in the interior space and recognizing the object on the basis of the image.
  • a method for recognizing the object in the interior of the domestic appliance may have previously been trained to recognize it by means of a method described herein.
  • the result of a first here The method described can be used by a second method for recognizing the object.
  • a system in accordance with yet another aspect of the present invention, includes a calibration sheet for placing an object on the calibration sheet; a camera for capturing images of the object placed on the calibration sheet from several, preferably predetermined, perspectives; and a processing device.
  • the processing device is set up to generate training data based on the images; and to train an adaptive recognition device with the training data.
  • the processing device can be set up to carry out a method described herein in whole or in part.
  • the processing device can comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means.
  • the computer program product can in particular be in the form of an application (“app”) for a computer or a mobile device.
  • the computer program product can also be stored on a computer-readable data carrier. Additional features or advantages of the method can be transferred to the device or vice versa.
  • the processing device can be present locally in the area of the camera or the images captured by means of the camera can be transmitted to a remotely arranged processing device.
  • the processing device can in particular be implemented as a server or service, optionally in a cloud.
  • the calibration sheet can be provided as an electronic template that can be printed out by a user. Different adjustment arcs can be provided for different objects, for example depending on the size of the respective object.
  • the camera can comprise a depth camera.
  • the camera can emit light according to the TOF (Time-Of-Flight) principle and register light reflected on the object. A period between the emission and the registration of the light can be used to determine a distance to the object.
  • the camera can operate on the stereo principle.
  • Several images can be made at the same time from slightly different perspectives and depth information can be determined on the basis of deviations between the images.
  • training data or a three-dimensional model for providing training data can be generated more easily or more precisely.
  • the system can also include a projection device for projecting a position mark onto a surface on which the calibration sheet with the object is to be placed.
  • the projection device can be used to output an indication of the positioning of the alignment sheet.
  • the projection can include outlines of the correctly placed alignment sheet so that an operator can easily move the alignment sheet onto the projection.
  • the camera and the projection device can be combined in a projection and interaction device (PAI).
  • PAI can be set up for attachment above a work surface.
  • the jus animal arch can be placed or positioned on the work surface.
  • the camera is part of a smartphone.
  • the smartphone can be set up permanently using a tripod, for example. You can then only change the position of the adjustment bow with the object in relation to the smartphone.
  • the smartphone can already contain the necessary equipment for controlling the camera and for processing or transmitting data to a remote location.
  • a user can use an existing smartphone to implement the present invention. Acquisition costs for implementing the technique proposed herein can be reduced. An application required for the technology can easily be installed on the smartphone.
  • FIG. 1 shows an exemplary system with a domestic appliance
  • FIG. 2 shows an exemplary method for training a domestic appliance
  • FIG. 3 exemplary variants of devices for capturing images of an object
  • FIG. 4 shows an exemplary calibration sheet with an object.
  • Figure 1 shows an exemplary system 100 with a domestic appliance 105, which is designed here as a refrigerator, for example.
  • the domestic appliance 105 comprises an interior 1 10 in which an object 115 can be arranged.
  • the object 115 usually comprises a food, for example a dish, a dish or an ingredient.
  • a container of the object 115 can vary; for example, the same food can be in different packages or sizes.
  • the object 115 is placed on a Justierbo gene 120, which is positioned in the interior 110.
  • a detection device 125 comprises a camera 130 that can be directed into the interior 110, a processing device 135, and optionally an output device 140, here in the form of a graphic output device 140, or a communication device 145.
  • the processing device 135 preferably comprises a microcomputer.
  • the output device 140 can provide textual or graphic outputs, for example. The output can be provided on the inside and / or the outside of the domestic appliance 105.
  • An acoustic output device 140 is optionally provided.
  • the communication device 145 is set up for communication with an external device 150.
  • the content of the domestic appliance 105 can be recognized and processed and the processed information can be transmitted to the external device 150, for example in text form.
  • the external device 150 can forward the information, for example to a fixed or mobile device of a user of the domestic appliance 105.
  • the information can also be passed directly to the user's device by means of the communication device 145.
  • the external device 150 may be configured to train the recognition device 125.
  • a dedicated device 150 can be provided, which differs from the device 150 for processing or transmitting information about detected objects 115.
  • the tasks of the external device 150 can also be performed locally by the processing device 135 of the recognition device 125 or another local processing device.
  • the external device 150 preferably comprises a processing device 155, a communication device 160 and an optional storage device 165. It is proposed to use the camera 130 to capture a number of images of the object 115 placed on the alignment sheet 120 and to train the processing device 135 on the basis of the images in order to recognize the object 115.
  • the images are preferably transmitted to the external device 150, where a three-dimensional model of the object 115 is determined from them.
  • training data can be generated, which can in particular include views of the object 115 from different perspectives or with different coverages by other objects.
  • the training data can be used to train a trainable, computer-implemented system.
  • the system or a characteristic part thereof can be transmitted back to the recognition device 125 in order to recognize the object 115 in the interior 110 of the domestic appliance 105 on an image captured by means of the camera 130.
  • the trained system can comprise an artificial neuronal network and characteristic parameters, in particular via an arrangement and / or interconnection of artificial neurons, can be transmitted.
  • FIG. 2 shows a flow chart of a method 200 for training a recognition device 120.
  • the method can in particular be carried out by means of a system 100.
  • the elements shown in FIG. 1 are preferably used primarily to recognize the object 115 if the recognition device 125 has already been trained accordingly.
  • a training described below can be carried out with such elements.
  • other devices are preferably used, which are explained in more detail below.
  • a step 205 the object 115 is placed on the alignment sheet 120, the alignment sheet 120 being brought to a predetermined position from which the camera 130 has a predetermined perspective of the object 115.
  • the position can be determined dynamically, for example on the basis of a size of the object 115.
  • An indication of the predetermined position can be output by means of the output device 140. If the alignment sheet 120 has assumed the position, this can be recognized on the basis of an image from the camera 130 or an actuation of an input device can be detected.
  • an image of the object 115 can be captured on the calibration sheet 120.
  • the entire object 1 is preferably 15 and at least one predetermined one Portion of the adjustment sheet 120 shown, wherein the section may show an optical marking that can be used to determine a position and / or alignment of the adjustment sheet 120.
  • a step 215 it can be determined whether there are already sufficient images of the object 115 on the alignment sheet 120 from different, predetermined positions with respect to the camera 130. If this is not the case, steps 205 and 210 can be run through again. It should be noted that in step 205 the alignment sheet 120 can be moved with respect to the camera 130, but an alignment and position of the object 115 with respect to the alignment sheet 120 preferably remains unchanged.
  • a three-dimensional model of the object 115 can be determined. This step is preferably carried out by the external device 150.
  • the three-dimensional model is set up to show the object 115 as far as possible from all views that the object 115 can take with respect to the camera 130. For this purpose, information from the images can be summarized and compared with one another.
  • the model preferably only reflects optical features of the object 115.
  • training data can be generated on the basis of the model.
  • the training data can each include a view of the object 115 from a predetermined perspective.
  • the view is subject to a predetermined disturbance, for example partial obscuration by another object.
  • the recognition device 125 can be trained on the basis of the training data. In practice, it is not the recognition device 125 of the domestic appliance 105 that is trained, but a copy or a derivative of characteristic parts of the recognition system 125, in particular in the form of an artificial neural network.
  • the recognition device 235 can be used to produce an image of the object 115 in the interior 110 using the camera 130 and to recognize the object 115 or to segment the image in order to isolate, identify or expose the object 115.
  • the use of the household appliance 105 to produce images, which can ultimately be used by the method 200 to train the recognition device 125, can be complex, since a door of the household appliance is opened to correctly arrange the object 115 on the calibration sheet 120 and to capture an image must be closed again.
  • a quality of the camera 130 may be limited.
  • a perspective of the camera 130 may be suboptimal for the present purpose. Illumination in domestic appliance 105 can furthermore be relatively weak, so that the images cannot achieve a high quality.
  • FIG. 3 shows exemplary variants of devices that can be better suited for capturing images of an object 115 for generating training data. Without loss of generality, it is assumed that the object 115 placed on the alignment sheet 120 is located on a surface 305 which can in particular run horizontally and the top can form a work surface.
  • a first device 310 comprises a mobile device, for example a laptop computer, a tablet computer or a smartphone.
  • the device usually comprises a camera 130 as well as a processing device 135 and a communication device 145.
  • the device can be brought into an unchangeable position relative to the surface 305 by means of a tripod.
  • a second device 315 comprises a PAI, which can usually be attached above the surface 305, for example on the underside of a wall cabinet or shelf, or on a vertical wall. In a further embodiment, the device 315 can also be held above the surface 305 by means of a mast.
  • the PAI usually comprises a camera 130, a processing device 135 and a communication device 145.
  • a projector 320 is provided as the output device 140, which can be attached to the camera 130 with a slight lateral offset.
  • the projector 320 is preferably set up to project a representation onto the surface 305 and the camera 130 can be set up to determine a position of an object, in particular a hand of a user, in relation to the representation.
  • the PAI can be used in a particularly advantageous manner to project a desired position for the alignment sheet 120 onto the surface 305. ok
  • the calibration sheet 120 assumes the projected position, this can be determined by means of the camera 130.
  • input from a user can be recorded. The input can be made in relation to a button projected onto the surface 305.
  • Both devices 310, 315 can easily be used by a user of the domestic appliance 105.
  • Other embodiments for devices 310, 315 are also possible.
  • FIG. 4 shows an exemplary calibration sheet 120 on which an object 115 is placed.
  • the illustration is from a raised position and with an optics of the camera 130 with a short focal length, so that noticeable perspective distortions result.
  • the object 115 is, for example, essentially cuboid and can, for example, comprise a milk pack. An imprint of the packaging is not shown.
  • the adjustment bow 120 preferably carries an arrangement 405 with at least one optical marking 410.
  • the markings 410 shown are arranged at the same relative intervals on a circular line, in the area of which the object 115 is placed. Due to the size of the object 115, not all markings 410 can be visible from the camera 130 at the same time.
  • the markings 410 each include, for example, one

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

Ein Verfahren zum Trainieren einer Erkennungseinrichtung zur Erkennung eines Objekts in einem Innenraum eines Hausgeräts umfasst Schritte des Erfassens von Bildern des auf einem Justierbogen platzierten Objekts aus mehreren vorbestimmten Perspektiven; des Erzeugens von Trainingsdaten auf der Basis der Bilder; und des Trainierens der adaptiven Erkennungseinrichtung mit den Trainingsdaten.

Description

Trainieren eines Intelligenten Hausgeräts
Die Erfindung betrifft ein intelligentes Hausgerät. Insbesondere betrifft die Erfindung ein Hausgerät mit einer Kamera zur Erkennung von Gegenständen in einem Innenraum des Hausgeräts.
Ein intelligenter Kühlschrank umfasst eine Kamera zur Erfassung eines Bildes eines In nenraums und eine Verarbeitungseinrichtung. Die Verarbeitungseinrichtung prozessiert das Bild und kann ein im Innenraum angeordnetes Objekt erkennen. Beispielsweise kön nen so unterschiedliche Speisen im Kühlschrank erfasst werden, was etwa zur Erstellung einer Einkaufsliste hilfreich sein kann.
Die Erkennung arbeitet bevorzugt mittels maschinenimplementierten Lernens. Die Verar beitungseinrichtung kann bereits darauf trainiert sein, bestimmte Objekte zu erkennen. Dazu kann die Verarbeitungseinrichtung beispielsweise ein künstliches neuronales Netz werk implementieren. Unbekannte Objekte können jedoch nicht erkannt werden, sodass kein vollständiges Inventar des Kühlschranks angelegt werden kann.
WO2018212493A1 schlägt einen Kühlschrank mit einer innen angebrachten Kamera und einer außen angebrachten Anzeigeeinrichtung vor. Eine Verarbeitungseinrichtung kann einen Gegenstand im Kühlschrank erkennen und dessen Namen auf der Außenseite an- zeigen.
Um die Verarbeitungseinrichtung auf ein neues Objekt zu trainieren, sind üblicherweise Laborbedingungen herzustellen, um beispielsweise jede bekannte Ansicht jeweils einer genauen Perspektive oder Entfernung zur Kamera zuzuordnen. Einem Benutzer des Kühlschranks fehlen hierfür üblicherweise die notwendigen Mittel, beispielsweise eine steuerbare Drehscheibe, auf der das Objekt platziert werden kann. Außerdem kann ein manuelles Bereitstellen von Trainingsdaten auf der Basis von Abtastungen eines Objekts ausgesprochen aufwändig sein.
Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik, um eine Erkennungseinrichtung zur Erkennung eines Objekts in einem Innenraum eines Hausgeräts auf ein neues Objekt anzulernen. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
Ein Verfahren zum Trainieren einer Erkennungseinrichtung zur Erkennung eines Objekts in einem Innenraum eines Hausgeräts umfasst Schritte des Erfassens von Bildern des auf einem Justierbogen platzierten Objekts aus mehreren (vorzugsweise vorbestimmten) Per spektiven; des Erzeugens von Trainingsdaten auf der Basis der Bilder; und des Trainie- rens der bevorzugt adaptiven Erkennungseinrichtung mit den Trainingsdaten.
In einigen Ausführungsformen kann der Justierbogen an vorbestimmte Positionen gegen über einer unbeweglich angeordneten Kamera gebracht werden. In anderen Ausführungs formen ist die Kamera selbst beweglich und beispielsweise ein Nutzer kann aus mehreren Perspektiven Bilder des auf dem Justierbogen platzierten Objekts erfassen, wobei eine räumliche Zuordnung der Bilder zueinander aufgrund des in den Bildern zu erkennenden Justierbogens möglich sein kann. Eine Position des Objekts gegenüber dem Justierbogen wird vorzugsweise unveränderlich gehalten, um die räumliche Zuordnung der Bilder zuei nander zu erleichtern. Der Justierbogen umfasst bevorzugt ein dünnes, ebenes Objekt, auf dem das Objekt angeordnet werden kann. Beispielsweise kann der Justierbogen ein Papier, eine Pappe, einen Karton, eine Folie oder ein Blech umfassen. Dabei kann der Justierbogen eine optische Markierung tragen, sodass seine Position auf einem durch die Kamera erfassten Bild bestimmbar ist. Eine Position des Objekts kann auf der Basis der bestimmten Position des Justierbogens leicht bestimmt werden. So können auf einfache Weise Bilder des Objekts aus den vorbestimmten Perspektiven angefertigt werden. Die Bilder können zum Trainieren der Erkennungseinrichtung ausreichen.
Eine trainierte Erkennungseinrichtung kann das Objekt, nachdem es im Innenraum des Hausgeräts platziert wurde, auf einem Bild erkennen, das mittels einer in den Innenraum gerichteten Kamera erfasst wurde. Das Hausgerät kann insbesondere einen Kühlschrank, einen Gefrierschrank, einen Klimaschrank oder ein Gargerät wie einen Bräter, einen Dampfgarer oder einen Ofen umfassen. Bevorzugt ist das Hausgerät zur Lagerung des Objekts eingerichtet. In einer anderen Ausführungsform kann das Hausgerät aber auch zur Prozessierung des Objekts eingerichtet sein, wobei das Objekt erkannt werden kann, wenn ein vorbestimmter Prozessiergrad erreicht wurde. Beispielsweise kann das Errei chen eines vorbestimmten Gargrads eines in einem Ofen aufgenommenen Gerichts an hand optischer Merkmale bestimmt werden. In einer bevorzugten Ausführungsform wird auf der Basis der Bilder ein dreidimensionales Modell des Objekts erstellt, wobei die Trainingsdaten auf der Basis des dreidimensionalen Modells erzeugt werden können. Das dreidimensionale Modell kann auf der Basis der Bilder relativ einfach bestimmt werden. Das Modell kann nachbearbeitet werden, um bei spielsweise einen Hohlraum zu öffnen oder zu schließen, der auf der Basis der Bilder nicht korrekt erkannt wurde. Auch Artefakte oder Lücken im Modell können reduziert oder eliminiert werden. Diese Bearbeitungen können manuell oder automatisiert erfolgen. Auf der Basis des Modells können praktisch beliebig viele Trainingsdaten erstellt werden, die erforderlich sein können, um ein Erkennen des Objekts durch die Erkennungseinrichtung zu ermöglichen. Arbeitet die Erkennungseinrichtung mit einem künstlichen neuronalen Netzwerk, so können mehrere tausend, mehrere zehntausend oder mehrere hunderttau send Trainingsdaten für eine gute Erkennung erforderlich sein.
Der Justierbogen mit dem Objekt kann an vorbestimmte Positionen gegenüber einer Ka mera zur Erfassung der Bilder bewegt werden. Dazu kann eine Anweisung zur Bewegung des Justierbogens mit dem Objekt an eine vorbestimmte Position gegenüber der Kamera bereitgestellt werden. Die Anweisung kann beispielsweise akustisch oder optisch ausge geben werden. Die optische Ausgabe kann symbolisch, textuell oder graphisch erfolgen.
Es kann erfasst werden, dass sich der Justierbogen mit dem Objekt an einer vorbestimm ten Position gegenüber der Kamera befindet. Dazu kann eine Bestätigung einer Person erfasst werden, die optional den Justierbogen mit dem Objekt positioniert. In einer ande ren Ausführungsform kann das Erreichen einer vorbestimmten Position durch den Justier bogen auf der Basis eines Bildes der Kamera bestimmt werden. In diesem Fall kann eine Bestätigung ausgegeben werden, dass die Position erreicht wurde. Üblicherweise wird eine vorbestimmte Anzahl von Positionen verwendet, beispielsweise ca. 10-20.
Nach einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Erkennen eines Objekts in einem Innenraum eines Hausgeräts Schritte eines hierin beschriebenen Ver fahrens, des Erfassens eines Bildes des Objekts im Innenraum und ein Erkennen des Objekts auf der Basis des Bildes. Anders ausgedrückt kann ein Verfahren zum Erkennen des Objekts im Innenraum des Hausgeräts zuvor mittels eines hierin beschriebenen Ver fahrens auf dessen Erkennung trainiert worden sein. Das Ergebnis eines ersten hierin beschriebenen Verfahrens kann durch ein zweites Verfahren zur Erkennung des Objekts genutzt werden.
Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein System einen Justierbogen zur Platzierung eines Objekts auf dem Justierbogen; eine Kamera zur Erfas sung von Bildern des auf dem Justierbogen platzierten Objekts aus mehreren, vorzugs weise vorbestimmten Perspektiven; und eine Verarbeitungseinrichtung. Dabei ist die Ver arbeitungseinrichtung dazu eingerichtet, auf der Basis der Bilder Trainingsdaten zu er zeugen; und eine adaptive Erkennungseinrichtung mit den Trainingsdaten zu trainieren.
Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Ver fahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann insbesondere als Applikation („App“) für einen Compu ter oder ein mobiles Gerät vorliegen. Das Computerprogrammprodukt kann auch auf ei nem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Ver fahrens können auf die Vorrichtung übertragen werden oder umgekehrt.
Die Verarbeitungseinrichtung kann lokal im Bereich der Kamera vorliegen oder die mittels der Kamera erfassten Bilder können an eine entfernt angeordnete Verarbeitungseinrich tung übermittelt werden. Die Verarbeitungseinrichtung kann insbesondere als Server oder Dienst, optional in einer Cloud, realisiert sein. Der Justierbogen kann als elektronische Vorlage bereitgestellt sein, die durch einen Benutzer ausgedruckt werden kann. Es kön nen unterschiedliche Justierbögen für unterschiedliche Objekte vorgesehen sein, bei spielsweise in Abhängigkeit einer Größe des jeweiligen Objekts.
Die Kamera kann eine Tiefenkamera umfassen. Dazu kann die Kamera nach dem TOF (Time-Of-Flight) Prinzip Licht aussenden und am Objekt reflektiertes Licht registrieren. Eine Dauer zwischen dem Aussenden und dem Registrieren des Lichts kann zur Bestim mung einer Entfernung zum Objekt verwendet werden. In einer anderen Ausführungsform kann die Kamera nach dem Stereo-Prinzip arbeiten. Dabei können gleichzeitig mehrere Bilder aus leicht unterschiedlichen Perspektiven angefertigt werden und Tiefeninformatio nen können auf der Basis von Abweichungen zwischen den Bildern bestimmt werden. Auf der Basis von Bildern mit Tiefeninformationen können leichter oder genauer Trai ningsdaten beziehungsweise ein dreidimensionales Modell zur Bereitstellung von Trai ningsdaten erzeugt werden.
Das System kann darüber hinaus eine Projektionseinrichtung zur Projektion einer Positi onsmarke auf eine Oberfläche, auf welcher der Justierbogen mit dem Objekt zu platzieren ist, umfassen. Mittels der Projektionseinrichtung kann ein Hinweis zur Positionierung des Justierbogens ausgegeben werden. Beispielsweise kann die Projektion Umrisse des kor rekt platzierten Justierbogens umfassen, sodass eine Bedienperson den Justierbogen leicht auf die Projektion verschieben kann. Die Kamera und die Projektionseinrichtung können in einer Projektions- und Interaktionseinrichtung (PAI) zusammengefasst sein. Dabei kann die PAI zur Anbringung über einer Arbeitsfläche eingerichtet sein. Der Jus tierbogen kann auf der Arbeitsfläche platziert oder positioniert werden.
In einer anderen Ausführungsform ist die Kamera Teil eines Smartphone. Das Smartpho- ne kann etwa mittels eines Stativs fest aufgestellt werden. Anschließend kann nur noch die Position des Justierbogens mit dem Objekt gegenüber dem Smartphone verändert werden. Das Smartphone kann erforderliche Einrichtungen zur Steuerung der Kamera und zur Verarbeitung oder zur Übermittlung von Daten an eine entfernte Stelle bereits enthalten. Ein Benutzer kann ein vorhandenes Smartphone zur Umsetzung der vorliegen den Erfindung verwenden. Anschaffungskosten für die Implementierung der hierin vorge schlagenen Technik können verringert sein. Eine für die Technik erforderliche Applikation kann leicht auf dem Smartphone installiert werden.
Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:
Figur 1 ein beispielhaftes System mit einem Hausgerät;
Figur 2 ein beispielhaftes Verfahren zum Trainieren eines Hausgeräts;
Figur 3 beispielhafte Varianten von Vorrichtungen zur Erfassung von Bildern eines Ob jekts; und
Figur 4 einen beispielhaften Justierbogen mit einem Objekt darstellt. Figur 1 zeigt ein beispielhaftes System 100 mit einem Hausgerät 105, das hier beispiel haft als Kühlschrank ausgeführt ist. Das Hausgerät 105 umfasst einen Innenraum 1 10, in dem ein Objekt 115 angeordnet werden kann. Das Objekt 1 15 umfasst üblicherweise ein Lebensmittel, etwa eine Speise, ein Gericht oder eine Zutat. Dabei kann ein Gebinde des Objekts 1 15 variieren; beispielsweise kann das gleiche Lebensmittel in unterschiedlichen Verpackungen oder Größen vorliegen. Vorliegend ist das Objekt 115 auf einem Justierbo gen 120 platziert, der im Innenraum 1 10 positioniert ist.
Eine Erkennungseinrichtung 125 umfasst eine in den Innenraum 110 richtbare Kamera 130, eine Verarbeitungseinrichtung 135, sowie optional eine Ausgabevorrichtung 140, hier in Form einer graphischen Ausgabevorrichtung 140, oder eine Kommunikationseinrich tung 145. die Verarbeitungseinrichtung 135 umfasst bevorzugt einen Mikrocomputer. Die Ausgabevorrichtung 140 kann beispielsweise textuelle oder graphische Ausgaben bereit stellen. Dabei kann die Ausgabe auf der Innenseite und/oder der Außenseite des Hausge räts 105 bereitgestellt sein. Optional ist eine akustische Ausgabevorrichtung 140 vorgese hen.
Die Kommunikationseinrichtung 145 ist zur Kommunikation mit einer externen Einrichtung 150 eingerichtet. In einem üblichen Betrieb des Hausgeräts 105 kann ein Inhalt des Hausgeräts 105 erkannt und verarbeitet werden und die verarbeiteten Informationen kön nen, beispielsweise in Textform, an die externe Einrichtung 150 übermittelt werden. Die externe Einrichtung 150 kann die Informationen weiterleiten, beispielsweise an ein festes oder mobiles Gerät eines Benutzers des Hausgeräts 105. Die Informationen können mit tels der Kommunikationseinrichtung 145 auch direkt an das Gerät des Benutzers geleitet werden.
Für eine hierin beschriebene Technik kann die externe Einrichtung 150 für das Trainieren der Erkennungseinrichtung 125 eingerichtet sein. Dazu kann eine dedizierte Einrichtung 150 vorgesehen sein, die sich von der Einrichtung 150 zur Verarbeitung oder Übermitt lung von Informationen über erkannte Objekte 115 unterscheidet. Die Aufgaben der ex ternen Einrichtung 150 können auch lokal durch die Verarbeitungseinrichtung 135 der Erkennungseinrichtung 125 oder eine andere lokale Verarbeitungseinrichtung erbracht werden. Die externe Einrichtung 150 umfasst bevorzugt eine Verarbeitungseinrichtung 155, eine Kommunikationseinrichtung 160 und eine optionale Speichervorrichtung 165. Es wird vorgeschlagen, mittels der Kamera 130 eine Anzahl Bilder des auf dem Justier bogen 120 platzierten Objekt 115 zu erfassen, und auf der Basis der Bilder die Verarbei tungseinrichtung 135 zu trainieren, um das Objekt 1 15 zu erkennen. Dazu werden die Bilder bevorzugt an die externe Einrichtung 150 übermittelt, wo aus ihnen ein dreidimen sionales Modell des Objekts 1 15 bestimmt wird. Auf der Basis des Modells können Trai ningsdaten erzeugt werden, die insbesondere Ansichten des Objekts 115 aus verschie denen Perspektiven oder mit verschiedenen Abdeckungen durch andere Gegenstände umfassen können. Die Trainingsdaten können zum Trainieren eines lernfähigen, compu terimplementierten Systems verwendet werden. Das System oder ein charakteristischer Teil davon kann an die Erkennungseinrichtung 125 zurück übermittelt werden, um das Objekt 1 15 im Innenraum 110 des Hausgeräts 105 auf einem mittels der Kamera 130 er fassten Bildes zu erkennen. Insbesondere kann das trainierte System ein künstliches neu ronales Netzwerk umfassen und charakteristische Parameter, insbesondere über eine Anordnung und/oder Verschaltung von künstlichen Neuronen, kann übermittelt werden.
Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Trainieren einer Erken nungseinrichtung 120. Das Verfahren kann insbesondere mittels eines Systems 100 aus geführt werden. Es ist zu beachten, dass die in Figur 1 dargestellten Elemente bevorzugt primär zur Erkennung des Objekts 1 15 verwendet werden, wenn die Erkennungseinrich tung 125 bereits entsprechend trainiert worden ist. Ein im Folgenden beschriebenes Trai ning kann mit solchen Elementen ausgeführt werden. Bevorzugt werden jedoch andere Einrichtungen verwendet, die weiter unten noch genauer erläutert werden.
In einem Schritt 205 wird das Objekt 1 15 auf dem Justierbogen 120 platziert, wobei der Justierbogen 120 an eine vorbestimmte Position gebracht wird, aus der die Kamera 130 eine vorbestimmte Perspektive auf das Objekt 115 hat. Die Position kann dynamisch be stimmt werden, beispielsweise auf der Basis einer Größe des Objekts 115. Ein Hinweis auf die vorbestimmte Position kann mittels der Ausgabeeinrichtung 140 ausgegeben wer den. Hat der Justierbogen 120 die Position eingenommen, kann dies auf der Basis eines Bilds der Kamera 130 erkannt werden oder eine Betätigung einer Eingabevorrichtung kann erfasst werden.
In einem Schritt 210 kann ein Bild des Objekts 115 auf dem Justierbogen 120 erfasst werden. Dabei ist bevorzugt das gesamte Objekt 1 15 und zumindest ein vorbestimmter Abschnitt des Justierbogens 120 abgebildet, wobei der Abschnitt eine optische Markie rung zeigen kann, die zur Bestimmung einer Position und/oder Ausrichtung des Justier bogens 120 verwendet werden kann.
In einem Schritt 215 kann bestimmt werden, ob bereits ausreichend Bilder des Objekts 115 auf dem Justierbogen 120 aus unterschiedlichen, vorbestimmten Positionen gegen über der Kamera 130 vorliegen. Ist dies nicht der Fall, können die Schritte 205 und 210 erneut durchlaufen werden. Es ist zu beachten, dass im Schritt 205 zwar der Justierbogen 120 gegenüber der Kamera 130 bewegt werden kann, eine Ausrichtung und Position des Objekts 115 gegenüber dem Justierbogen 120 jedoch bevorzugt unverändert bleibt.
In einem Schritt 220 kann ein dreidimensionales Modell des Objekts 115 bestimmt wer den. Dieser Schritt wird bevorzugt seitens der externen Einrichtung 150 durchgeführt. Das dreidimensionale Modell ist dazu eingerichtet, das Objekt 115 möglichst von allen Ansich ten zu zeigen, die das Objekt 115 gegenüber der Kamera 130 einnehmen kann. Dazu können Informationen der Bilder entsprechend zusammengefasst und gegeneinander abgeglichen werden. Das Modell reflektiert bevorzugt nur optische Merkmale des Objekts 115.
In einem Schritt 225 können Trainingsdaten auf der Basis des Modells erzeugt werden. Die Trainingsdaten können jeweils eine Ansicht des Objekts 115 aus einer vorbestimmten Perspektive umfassen. Optional ist die Ansicht einer vorbestimmten Störung unterworfen, beispielsweise einer partiellen Verdeckung durch ein anderes Objekt.
In einem Schritt 230 kann die Erkennungseinrichtung 125 auf der Basis der Trainingsda ten trainiert werden. Praktisch wird nicht die Erkennungseinrichtung 125 des Hausgeräts 105 trainiert, sondern eine Kopie oder ein Derivat von charakteristischen Teilen des Er kennungssystems 125, insbesondere in Form eines künstlichen neuronalen Netzwerks.
In einem Schritt 235 kann die Erkennungseinrichtung 235 dazu verwendet werden, mittels der Kamera 130 ein Bild des Objekts 115 im Innenraum 110 anzufertigen und das Objekt 115 zu erkennen oder das Bild zu segmentieren, um das Objekt 115 zu isolieren, zu iden tifizieren oder freizustellen. Die Verwendung des Hausgeräts 105 zum Anfertigen von Bildern, die vom Verfahren 200 letztlich zum Trainieren der Erkennungseinrichtung 125 verwendet werden können, kann aufwändig sein, da zum korrekten Anordnen des Objekts 115 auf dem Justierbogen 120 jeweils eine Tür des Hausgeräts geöffnet und zum Erfassen eines Bildes wieder ge schlossen werden muss. Außerdem kann eine Qualität der Kamera 130 begrenzt sein. Eine Perspektive der Kamera 130 kann für den vorliegenden Zweck suboptimal sein. Eine Beleuchtung im Hausgerät 105 kann weiter relativ schwach sein, sodass die Bilder keine hohe Qualität erreichen können.
Figur 3 zeigt beispielhafte Varianten von Vorrichtungen, die sich besser zur Erfassung von Bildern eines Objekts 115 zur Erzeugung von Trainingsdaten eignen können. Ohne Be schränkung der Allgemeinheit wird angenommen, dass sich das auf dem Justierbogen 120 platzierte Objekt 115 auf einer Oberfläche 305 befindet, die insbesondere horizontal verlaufen kann und die Oberseite eine Arbeitsplatte bilden kann.
Eine erste Vorrichtung 310 umfasst ein Mobilgerät, beispielsweise einen Laptop Compu ter, einen Tablet Computer oder ein Smartphone. Das Gerät umfasst üblicherweise eine Kamera 130 sowie eine Verarbeitungseinrichtung 135 und eine Kommunikationseinrich tung 145. Für die Durchführung des Verfahrens 200, insbesondere der Schritte 205-215, kann das Gerät mittels eines Stativs in eine unveränderliche Position gegenüber der Oberfläche 305 gebracht werden.
Eine zweite Vorrichtung 315 umfasst eine PAI, die üblicherweise oberhalb der Oberfläche 305 beispielsweise an der Unterseite eines Oberschranks oder Regals, oder an einer ver tikalen Wand angebracht sein kann. In einer weiteren Ausführungsform kann die Vorrich tung 315 auch mittels eines Masts über der Oberfläche 305 gehalten sein.
Die PAI umfasst üblicherweise eine Kamera 130, eine Verarbeitungseinrichtung 135 und eine Kommunikationseinrichtung 145. Außerdem ist als Ausgabevorrichtung 140 ein Pro jektor 320 vorgesehen, der mit einem leichten seitlichen Versatz zur Kamera 130 ange bracht sein kann. Der Projektor 320 ist bevorzugt dazu eingerichtet, eine Darstellung auf die Oberfläche 305 zu projizieren und die Kamera 130 kann dazu eingerichtet sein, eine Position eines Objekts, insbesondere eine Hand eines Benutzers, gegenüber der Darstel lung zu bestimmen. Die PAI kann in besonderer Weise vorteilhaft dazu verwendet wer den, eine gewünschte Position für den Justierbogen 120 auf die Oberfläche 305 zu proji- io
zieren. Nimmt der Justierbogen 120 die projizierte Position ein, kann dies mittels der Ka mera 130 bestimmt werden. Alternativ kann eine Eingabe eines Benutzers erfasst wer den. Die Eingabe kann bezüglich einer auf die Oberfläche 305 projizierten Schaltfläche erfolgen.
Beide Vorrichtungen 310, 315 können leicht durch einen Benutzer des Hausgeräts 105 verwendet werden. Andere Ausführungsformen für Vorrichtungen 310, 315 sind ebenfalls möglich.
Figur 4 zeigt einen beispielhaften Justierbogen 120, auf dem ein Objekt 115 platziert ist. Die Darstellung ist aus einer erhabenen Position und mit einer Optik der Kamera 130 mit kurzer Brennweite, sodass sich merkliche perspektivische Verzerrungen ergeben. Das Objekt 115 ist beispielhaft im Wesentlichen quaderförmig und kann beispielsweise eine Milchpackung umfassen. Ein Aufdruck der Verpackung ist nicht dargestellt.
Der Justierbogen 120 trägt bevorzugt eine Anordnung 405 mit wenigstens einer optischen Markierung 410. Die dargestellten Markierungen 410 sind in gleichen relativen Abständen auf einer Kreislinie angeordnet, in deren Bereich das Objekt 115 platziert ist. Aufgrund der Größe des Objekts 115 können nicht alle Markierungen 410 gleichzeitig von der Kamera 130 aus sichtbar sein. Die Markierungen 410 umfassen beispielhaft jeweils einen
Zentrierpunkt, um den einer oder mehrere Kreisbögen dargestellt sind.
System
Hausgerät
Innenraum
Objekt
Justierbogen
Erkennungseinrichtung
Kamera
Verarbeitungseinrichtung
Ausgabevorrichtung
Kommunikationseinrichtung externe Einrichtung
Verarbeitungseinrichtung
Kommunikationseinrichtung
Speichervorrichtung
Verfahren
Platzieren Objekt auf Justierbogen Erfassen Bild des Objekts Ausreichend Bilder vorhanden? 3D-Modell des Objekts erstellen Trainingsdaten erzeugen
Erkennungseinheit trainieren Erkennungseinheit verwenden
Oberfläche
erste Vorrichtung zweite Vorrichtung Projektor
Anordnung
Markierung

Claims

PATENTANSPRÜCHE
1. Verfahren (200) zum Trainieren einer Erkennungseinrichtung (125) zur Erkennung eines Objekts (115) in einem Innenraum (110) eines Hausgeräts (105), wobei das Ver fahren (200) folgende Schritte umfasst:
Erfassen (210) von Bildern des auf einem Justierbogen (120) platzierten Objekts (115) aus mehreren, vorzugsweise vorbestimmten Perspektiven;
Erzeugen (225) von Trainingsdaten auf der Basis der Bilder; und
- Trainieren der adaptiven Erkennungseinrichtung (125) mit den Trainingsdaten.
2. Verfahren (200) nach Anspruch 1 , wobei auf der Basis der Bilder ein dreidimensiona les Modell des Objekts (115) erstellt (220) wird und die Trainingsdaten auf der Basis des dreidimensionalen Modells erzeugt (225) werden.
3. Verfahren (200) nach Anspruch 1 oder 2, wobei der Justierbogen (120) mit dem Ob jekt (115) an vorbestimmte Positionen gegenüber einer Kamera (130) zur Erfassung der Bilder bewegt wird.
4. Verfahren (200) nach Anspruch 3, wobei eine Anweisung zur Bewegung des Justier bogens (120) mit dem Objekt (115) an eine vorbestimmte Position gegenüber der Ka mera (130) bereitgestellt wird.
5. Verfahren (200) nach Anspruch 4, wobei erfasst wird, dass sich der Justierbogen (120) mit dem Objekt (115) an einer vorbestimmten Position gegenüber der Kamera (130) befindet.
6. Verfahren (200) zum Erkennen eines Objekts (115) in einem Innenraum (110) eines Hausgeräts (105), umfassend Schritte eines Verfahrens (200) nach einem der voran gehenden Ansprüche, ferner ein Erfassen (235) eines Bildes des Objekts (115) im In nenraum (110) und ein Erkennen (235) des Objekts (115) auf der Basis des Bildes.
7. System (100), umfassend:
- einen Justierbogen (120) zur Platzierung eines Objekts (115) auf dem Justierbo gen (120); - eine Kamera (130) zur Erfassung von Bildern des auf dem Justierbogen (120) platzierten Objekts (115) aus mehreren, vorzugsweise vorbestimmten Perspekti ven;
- eine Verarbeitungseinrichtung (135), die dazu eingerichtet ist, auf der Basis der Bilder Trainingsdaten zu erzeugen; und eine adaptive Erkennungseinrichtung
(125) mit den Trainingsdaten zu trainieren.
8. System (100) nach Anspruch 7, wobei die Kamera (130) eine Tiefenkamera umfasst. 9. System (100) nach Anspruch 7 oder 8, ferner umfassend eine Projektionseinrichtung
(320) zur Projektion einer Positionsmarke auf eine Oberfläche (305), auf welcher der Justierbogen (120) mit dem Objekt (115) zu platzieren ist.
10. System (100) nach einem der Ansprüche 7 oder 8, wobei die Kamera (130) Teil eines Smartphone (310) ist.
EP20734867.3A 2019-06-24 2020-06-18 Trainieren eines intelligenten hausgeräts Pending EP3987434A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019209062.1A DE102019209062A1 (de) 2019-06-24 2019-06-24 Trainieren eines Intelligenten Hausgeräts
PCT/EP2020/066977 WO2020260132A1 (de) 2019-06-24 2020-06-18 Trainieren eines intelligenten hausgeräts

Publications (1)

Publication Number Publication Date
EP3987434A1 true EP3987434A1 (de) 2022-04-27

Family

ID=71170550

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20734867.3A Pending EP3987434A1 (de) 2019-06-24 2020-06-18 Trainieren eines intelligenten hausgeräts

Country Status (4)

Country Link
US (1) US20220351482A1 (de)
EP (1) EP3987434A1 (de)
DE (1) DE102019209062A1 (de)
WO (1) WO2020260132A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021204149A1 (de) 2021-04-27 2022-10-27 BSH Hausgeräte GmbH Objekterkennung für ein Hausgerät
DE102022102061A1 (de) 2021-12-14 2023-06-15 Liebherr-Hausgeräte Ochsenhausen GmbH Verfahren zur Erkennung von Objekten

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463629A (zh) * 2017-07-14 2017-12-12 青岛海尔智能技术研发有限公司 基于3d技术的图像数据库建立方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3869876B2 (ja) * 1995-12-19 2007-01-17 キヤノン株式会社 画像計測方法及び画像計測装置
AU1534701A (en) * 1999-11-23 2001-06-04 Canon Kabushiki Kaisha Image processing apparatus
GB0126526D0 (en) * 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
US9595108B2 (en) * 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
US11388788B2 (en) * 2015-09-10 2022-07-12 Brava Home, Inc. In-oven camera and computer vision systems and methods
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
US10281200B2 (en) * 2016-03-14 2019-05-07 Amazon Technologies, Inc. Image-based spoilage sensing refrigerator
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
KR102327848B1 (ko) 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463629A (zh) * 2017-07-14 2017-12-12 青岛海尔智能技术研发有限公司 基于3d技术的图像数据库建立方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DWIBEDI DEBIDATTA ET AL: "Cut, Paste and Learn: Surprisingly Easy Synthesis for Instance Detection", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), IEEE, 22 October 2017 (2017-10-22), pages 1310 - 1319, XP033282989, [retrieved on 20171222], DOI: 10.1109/ICCV.2017.146 *
See also references of WO2020260132A1 *

Also Published As

Publication number Publication date
US20220351482A1 (en) 2022-11-03
DE102019209062A1 (de) 2020-12-24
WO2020260132A1 (de) 2020-12-30

Similar Documents

Publication Publication Date Title
DE102016103799B4 (de) Bildverarbeitungssystem zum Trainieren eines Montagesystems durch virtuelle Montage von Objekten
DE102016014658B4 (de) 1, 2Modellerzeugungsvorrichtung, Positions- und Orientierungsberechnungsvorrichtung und Handling Robotervorrichtung
EP3401411B1 (de) Verfahren und vorrichtung zur fehlerstellenerkennung bei biegeschlaffen körpern, insbesondere tierhäuten
EP3987434A1 (de) Trainieren eines intelligenten hausgeräts
DE102011086702A1 (de) Konfiguration von Betriebsgeräten für Leuchtmittel
DE112010004551T5 (de) Benutzeradaptive Anzeigevorrichtung und Anzeigeverfahren
DE102020127732A1 (de) Dreidimensionale (3d) tiefenbildgebungssysteme und -verfahren zur automatischen bestimmung einer versandcontainerfüllung basierend auf bildgebungsvorlagen
EP3942451A1 (de) Automatisches erstellen eines gebäudeplans
EP4137981A1 (de) Generierung eines gebäudeinformationsmodells
DE102006044365A1 (de) Automatische Erkennungsvorrichtung
EP3394515B1 (de) System zur zubereitung von mindestens einem nahrungsmittel sowie verfahren zum betreiben des betreffenden systems
DE102022131925A1 (de) Selbstlernendes verfahren für einen fertigungs- und/oder montageprozess
EP3048456B1 (de) Verfahren zur lokalisierung von greifpunkten von objekten
EP3575044A3 (de) Roboterinteraktionssystem und verfahren
DE102019202901A1 (de) Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks
AT14448U1 (de) Konfiguration von Betriebsgeräten für Leuchtmittel
DE112022006723T5 (de) Lehrunterstützungsvorrichtung, arbeitssystem, lehrunterstützungsverfahren und speichermedium
EP3610475A1 (de) Gerät mit einer elektronikeinrichtung, set umfassend ein solches gerät, damit verbundene verwendung und verfahren zur nutzung eines solchen sets
DE112020003765T5 (de) Überwachte Einrichtung eines Steuervorrichtungs mit Bildgeber
EP4080405A1 (de) Verfahren zum identifizieren von holzwerkstoffplatten
DE102017216863B3 (de) Verfahren und Robotersystem zum Anpassen eines Robotereinsatzes an einen Arbeitsprozess
DE202014009224U1 (de) Vorrichtung mit einer intelligenten, drehbaren, beweglichen und steuerbaren 4D Beleuchtungseinheit für die 1D-, 2D-, 3D-, 360°-, sowie einer x- y-, z-Koordinaten Erfassung von Objekten
EP4152271A1 (de) Verfahren und vorrichtung zum computergestützten vervollständigen eines durch punkte gebildeten 3d-teilmodells
BE1030671B1 (de) Verfahren zur Sprachsteuerung eines Haushaltsgeräts sowie ein Haushaltsgerät
EP3114537B1 (de) Verfahren zur wiedergabe eines fertigungsprozesses in einer virtuellen umgebung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220124

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240102

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010240000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20251006

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 10/24 20220101AFI20250926BHEP

Ipc: G06V 20/64 20220101ALI20250926BHEP

Ipc: G06V 10/772 20220101ALI20250926BHEP

Ipc: G06T 7/55 20170101ALI20250926BHEP

Ipc: F25D 29/00 20060101ALI20250926BHEP

Ipc: G06N 3/08 20060101ALI20250926BHEP

Ipc: G06N 3/0464 20230101ALI20250926BHEP

Ipc: G06N 3/09 20230101ALI20250926BHEP