EP3622467A1 - Verfahren zum anpassen eines virtuellen objekts - Google Patents

Verfahren zum anpassen eines virtuellen objekts

Info

Publication number
EP3622467A1
EP3622467A1 EP18723825.8A EP18723825A EP3622467A1 EP 3622467 A1 EP3622467 A1 EP 3622467A1 EP 18723825 A EP18723825 A EP 18723825A EP 3622467 A1 EP3622467 A1 EP 3622467A1
Authority
EP
European Patent Office
Prior art keywords
mobile device
furniture
dimensions
display
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP18723825.8A
Other languages
English (en)
French (fr)
Inventor
David Frick
Andreas KÜHNE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Homag GmbH
Original Assignee
Homag GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Homag GmbH filed Critical Homag GmbH
Publication of EP3622467A1 publication Critical patent/EP3622467A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping
    • G06Q30/0643—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping graphically representing goods, e.g. 3D product representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads

Definitions

  • the present invention relates to a method for adapting a virtual object, such as a piece of furniture, an industrial plant, a
  • the preparatory design based on virtual objects such as the design of a piece of furniture or the planning of an industrial plant (factory planning) require in addition to a precise approach increased imagination for the planner, for example, to assess existing, spatial limitations or circumstances and to incorporate into the design ,
  • furniture planning programs with which, for example, cabinets or shelves can be individually designed to measure. After planning the piece of furniture, the user can transmit the created data set to the provider who produces the piece of furniture according to the individual data record.
  • the user is asked at the beginning of the planning phase to record the appropriate dimensions and to incorporate them into the planning program.
  • a piece of furniture can be fitted to the appropriate place of installation.
  • the aim of the present invention is to further individual design options and
  • the present invention provides a method according to claim 1 for this purpose. Further preferred embodiments are listed in the dependent claims.
  • the invention relates to a method for adapting a virtual object using a mobile device, the mobile device comprising a sensor unit and a display, comprising the steps of: determining dimensions in a space by means of the sensor unit of the mobile device; Displaying the object by the mobile device based on the dimensions against the background of the space; Customize the displayed object.
  • the said object may be a piece of furniture such as a table, a cabinet, a shelf, a chair or the like, or a combination thereof.
  • a piece of furniture such as a table, a cabinet, a shelf, a chair or the like, or a combination thereof.
  • pieces of furniture within the scope of the invention
  • Furnishings that are used to furnish a room are tables, cabinets, shelves, kitchen modules, garden furniture, sofas, armchairs, tables, seating groups and the like.
  • the object may be a processing machine, in particular a woodworking machine, and / or a peripheral device thereof.
  • a peripheral device is for example one
  • Compressed air line Compressed air line, an exhaust duct, a control cabinet, a protective fence, step mats for a safety device.
  • the mobile device is a smart goggles / data goggles, wherein the display for displaying is preferably a head-mounted display.
  • “Smart glasses” refers to spectacles that can display additional information to the user in addition to the field of view, especially in an augmented reality.
  • Smart glasses have the advantage that they can always be carried by the user, but hands are freely available.
  • the display can be displayed in an augmented reality, thus optimally linking the real environment and the virtual object to be displayed.
  • the fitting of the object may comprise at least one step selected from: moving and / or rotating the object, changing the height, width and / or depth of the object, changing or selecting the surface color and / or structure, attaching or changing fittings, inserting a recess or bore, and / or changing or selecting a material for portions of the object.
  • the adaptation of the object can be done by means of gesture control. This type of object manipulation can be used particularly advantageously in combination with smart glasses / data glasses.
  • the adaptation of the object may include, for example, removing a portion of the object and fitting the portion. In the case of a piece of furniture, for example, a drawer can be removed and its coating material can be changed. If the method is used within the framework of factory planning, then it is possible, for example, to remove a processing device of a processing machine and to change its external dimensions.
  • a database in particular a cloud server
  • the stored data is available device-independent, possibly for several people at the same time.
  • the dimensions are an area and height of an installation location, and / or a roof slope, projections, adjacent objects,
  • Changes in the soil surface include.
  • the work result can be stored, in particular in a local memory of the mobile device or on a cloud server.
  • a use of a smart glasses for fitting a virtual object is provided, in particular a piece of furniture or a processing machine, wherein the object is displayed by means of smart glasses against the background of real space and the displayed object is adjusted.
  • Figure 1 shows the use of smart glasses in the planning of a piece of furniture as an embodiment.
  • FIG. 2 shows a method sequence according to FIG.
  • the embodiment described in detail below relates to the use of smart glasses for planning or adaptation of a piece of furniture.
  • Another example of application of the present invention is factory planning or planning of an industrial plant, in the context of which a machine, production line, peripherals, etc. are attached Place a given location in a factory floor and change or change its configuration.
  • One aspect of the present embodiment is the use of so-called smart glasses 10 as a preferred example of a mobile device with which it is possible to associate the real environment with a virtual world (so-called “mixed reality” or “augmented reality”).
  • the user is a virtual object, as in the present embodiment, a piece of furniture in the field of view, and thus in the real environment, displayed.
  • the smart glasses 10 has this for an HMD display (head mounted display).
  • smart glasses 10 will be described as a mobile device. In other embodiments, alternatively or additionally, a smartphone, a laptop or a tablet can be used.
  • the smart glasses 10 is additionally equipped with sensors.
  • a sensor unit is provided with which the concretely observed environment can be measured.
  • smart glasses 10 in other embodiments are equipped with a position sensor, one or more acceleration sensors and / or one or more gyro sensors.
  • the position sensor triangulation method via WLAN or Bluetooth
  • the determined data can be used for position tracking.
  • the alignment of the smart glasses 10, and thus the orientation of the user's head can be determined.
  • smart glasses 10 preferably have a radio interface, for example a WLAN module, so that the determined information can be transmitted to a database.
  • a Bluetooth connection or a mobile connection according to UMTS or LTE standard can be used.
  • the user first has the opportunity to use smart glasses 10 to measure the spatial environment in which a particular piece of furniture is to be integrated (step S1).
  • smart glasses 10 For this purpose, for example, laser distance sensors are integrated in the smart glasses, with which limiting surfaces, such as walls or roof slopes, can be detected.
  • limiting surfaces such as walls or roof slopes
  • a virtual image of the real space 20 is created, which is dimensioned true to scale.
  • various dimensions 21a, 21b are included, which are indicated in Fig. 1 only by way of example.
  • an external measuring system for example a laser measuring system
  • the values determined by the external measuring system can thus be transmitted to the smart goggles and used accordingly.
  • a preselection in a configurator for example, with regard to a specific piece of furniture, a group of pieces of furniture or partial profiles of a piece of furniture (step S2).
  • a corresponding piece of furniture is for example for the concrete space conditions a suitable variant that the user can select from a list.
  • the preselection of the underlying data pieces of furniture such as dimensions, colors, material structures, etc., may be stored locally in a memory of smart glasses 10 or on a server in the local network. Alternatively, a database, for example deposited on a cloud server, is used.
  • This data could previously be queried via a standardized interface from a particular manufacturer or user-defined group of manufacturers. Instead of a standardized interface, the 3D data of the objects could be provided standardized by the manufacturers. Alternatively, it would be necessary to have a conversion module that converts the various data models into a single model when objects or pieces of furniture from different manufacturers in the database are to be updated in an updated manner.
  • the selected piece of furniture is subsequently displayed against the background of the real space (step S3).
  • the piece of furniture is virtual, but the room is real.
  • the representation takes place in augmented reality.
  • step S4 The exact positioning or adaptation of the dimensions subsequently takes place interactively in conjunction with the real environment (step S4).
  • changes such as an adjustment of the dimensions and / or a repositioning of the piece of furniture by pushing or pulling with gesture control.
  • the interaction takes place in combination with the real environment.
  • the piece of furniture can only be pushed up to a certain wall or increased in the direction of a sloping roof or the like.
  • a concrete example is to choose from a piece of furniture, such as a wall cabinet, the upper deck panel and remove virtually. Subsequently, an opening can be created in an area of the cover panel, which will later serve as a pipe passage.
  • the data glasses could also detect and measure a wall passage for the exhaust air of the hood in the kitchen and automatically place and dimension a corresponding opening in the cover panel. After performing the adjustment of the piece of furniture this can be integrated again by gesture control in the modified version in the piece of furniture.
  • boundary conditions can also be taken into account when planning the piece of furniture, for example the concrete colors and structures of the floor, the wall and the ceiling at the installation site, or the light from an adjacently arranged window or window Space available lighting.
  • the user can iteratively improve the desired product and adapt it to the concretely present conditions, wherein the detection by means of the sensors offers a high degree of planning security and thus supports the optimal purchase decision.
  • a user can interact with the virtual space and, for example, test the ergonomic design of doors, drawers, etc.
  • movable elements such as drawers or doors
  • the correct positioning of certain elements of the furniture such as shelves, floors, etc. are checked.
  • the guided surveying of the room with the smart glasses 10 measurement errors can be avoided.
  • the user is shown that the planning accuracy has been achieved in the measured zone.
  • dimension lines or another display can be displayed in green. If the accuracy was not achieved, and if the user has to repeat the measurement if necessary, a visualization in red appears.
  • the smart glasses 10 can output an acoustic release signal via an integrated loudspeaker.
  • the integrated loudspeaker By means of the integrated loudspeaker, it is also possible to read an assembly instruction to the user or to contact a consultant by telephone. In addition, it is possible to visually display an assembly instruction. The visual indication may optionally be in addition to the acoustic message via the loudspeaker.
  • the work result can be stored in a local memory of smart glasses 10 or in a globally available cloud server (step S5). Interim results can also be saved accordingly.
  • step S6 it is possible either by means of smart glasses or another, preferably mobile, electronic device to transmit data to the manufacturer (step S6), for example, trigger an ordering process at the manufacturer. This could also be done via an interface, so that the use of smart glasses is manufacturer-independent.
  • machining operations such as drilling, cutting, fitting, etc. may be performed on parts of the planned furniture after data of the finished furniture has been sent to the manufacturer.
  • the data in particular CAD / CAM data, are sent to the manufacturer of the piece of furniture.
  • step S6 the processing time of the order and the planned delivery can be displayed to the user. Furthermore, a calculation and an invoice creation in the context of step S6 is feasible.
  • the present invention is not limited to use in a space bounded by walls or the like. Rather, it is possible to configure a piece of furniture in a relatively open environment or fit.
  • garden furniture can be virtually arranged and adapted on a terrace as an example. In this case, certain corner points of the field of view, so for example, the limitation of the terrace due to the floor covering, used to specify the planning location.
  • Another example of application of the present invention is factory planning or planning of an industrial plant in which a machine, production line, peripherals, etc. are placed in a predetermined location in a factory floor and their configuration must be adjusted or changed.
  • a processing machine it is possible to select a processing machine and display it in an augmented reality in the factory building, where protective devices such as protective fences, safety mats or the like can be placed and adapted according to the physical conditions , as conveyor belts, to connect with each other and to design the guide paths of the workpieces accordingly, so that a target-actual comparison is immediately possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren zum Anpassen eines virtuellen Objekts unter Verwendung einer mobilen Vorrichtung (10), welche mobile Vorrichtung eine Anzeige aufweist, umfassend die Schritte: Ermitteln von Dimensionen (21a, 21b) in einem Raum (20); Anzeigen des Objekts mittels der mobilen Vorrichtung (10) auf Grundlage der Dimensionen vor dem Hintergrund des Raums (20); und Anpassen des angezeigten Objekts.

Description

VERFAHREN ZUM ANPASSEN EINES VIRTUELLEN OBJEKTS
Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren zum Anpassen eines virtuellen Objekts, wie beispielsweise eines Möbelstücks, einer industriellen Anlage, einer
Bearbeitungsmaschine, oder Ähnlichem.
Stand der Technik
Der vorbereitende Entwurf anhand virtueller Objekte wie die Gestaltung eines Möbelstücks oder die Planung einer industriellen Anlage (Fabrikplanung) erfordern neben einem exakten Vorgehen ein gesteigertes Vorstellungsvermögen für den Planer, um beispielsweise vor Ort vorliegende, räumliche Einschränkungen oder Gegebenheiten einzuschätzen und in den Entwurf einfließen zu lassen.
Im Bereich des Entwurfs von Möbelstücken sind bereits Plattformen bekannt, bei denen ein Anwender in einer webbasierten Oberfläche Möbelstücke konfigurieren kann. Derartiges wird insbesondere bei eher teuren Produkten angeboten, die für einen Käufer eine nicht unerhebliche Investitionssumme bedeuten. Beispielsweise sind sogenannte Küchenplaner geläufig, mit denen durch Auswahl bestimmter, vorgegebener Module eine Küche geplant werden kann, so dass diese in die entsprechende Räumlichkeit passt. Um mit einem solchen Küchenplaner arbeiten zu können, muss der Anwender zunächst die Raummaße aufnehmen und diese manuell in das Planungsprogramm eingeben. Nachfolgend kann der Anwender aus einer Auswahl bestimmter Module die Küche zusammenstellen.
Nach Zusammenstellen der Module besteht die Möglichkeit, die geplante Küche virtuell zu „begehen", um sich in einer virtuellen Umgebung einen Eindruck des geplanten Gesamtaufbaus und der Wirkung bestimmter Module oder Komponenten, wie Griffe, auf das Gesamtkonzept zu verschaffen .
Auch bekannt sind Möbelplanungsprogramme, mit denen beispielsweise Schränke oder Regale individuell nach Maß geplant werden können. Nach Planung des Möbelstücks kann der Anwender den erstellten Datensatz an den Anbieter übermitteln, der das Möbelstück entsprechend dem individuellen Datensatz fertigt.
Auch in diesem Fall wird der Anwender zu Beginn der Planungsphase aufgefordert, die entsprechenden Maße aufzunehmen und in das Planungsprogramm zu übernehmen. Anhand der Deckenhöhe oder möglicher Dachschrägen kann ein Möbelstück an den entsprechenden Aufstellungsort eingepasst werden .
Die Aufnahme von Messdaten durch Laien birgt allerdings stets die Gefahr, dass das zu erstellende Möbelstück falsch dimensioniert und somit beispielsweise zu groß gefertigt wird. Je nach eingesetzter Messmethode können Abweichungen von Ist-Maßen beträchtlich sein. Auch ist es möglich, dass bei der Planung weitere Details missachtet werden, beispielsweise die Lichtverhältnisse am Aufstellort oder das Erscheinungsbild benachbarter Gegenstände, wie benachbarter Möbel, Gardinen, Fußboden, Wandfarbe oder -struktur, usw. Das Ergebnis der Planung wird der Anwender letztlich erst bewerten können, wenn das Möbelstück geliefert und aufgestellt wurde.
Gegenstand der Erfindung
Ziel der vorliegenden Erfindung ist es, individuelle Gestaltungsmöglichkeiten weiter voranzutreiben und
Planungsfehler zu vermeiden.
Die vorliegende Erfindung stellt hierfür ein Verfahren nach Anspruch 1 bereit. Weitere bevorzugte Ausführungsformen sind in den abhängigen Ansprüchen aufgeführt.
Die Erfindung betrifft ein Verfahren zum Anpassen eines virtuellen Objekts unter Verwendung einer mobilen Vorrichtung, welche mobile Vorrichtung eine Sensoreinheit und eine Anzeige aufweist, umfassend die Schritte: Ermitteln von Dimensionen in einem Raum mittels der Sensoreinheit der mobilen Vorrichtung; Anzeigen des Objekts mittels der mobilen Vorrichtung auf Grundlage der Dimensionen vor dem Hintergrund des Raums; Anpassen des angezeigten Objekts.
Beim genannten Objekt kann es sich um ein Möbelstück handeln, wie einen Tisch, einen Schrank, ein Regal, einen Stuhl oder Ähnlichem, oder einer Kombination hiervon. Allgemein werden als Möbelstücke im Rahmen der Erfindung
Einrichtungsgegenstände bezeichnet, die zur Möblierung eines Raums dienen. Beispiele sind Tische, Schränke, Regale, Küchenmodule, Gartenmöbel, Sofas, Sessel, Tische, Sitzgruppen und Ähnliches. Alternativ kann es sich beim Objekt um eine Bearbeitungsmaschine, insbesondere Holzbearbeitungsmaschine, und/oder eine Peripherievorrichtung dieser handeln. Eine Peripherievorrichtung ist beispielsweise eine
Druckluftleitung, ein Abluftkanal, ein Schaltschrank, ein Schutzzaun, Trittmatten für eine Sicherheitseinrichtung.
Es ist bevorzugt, dass die mobile Vorrichtung eine Smartbrille/Datenbrille ist, wobei die Anzeige zum Anzeigen bevorzugt ein Head-mounted Display ist. Als „Smartbrille" wird eine Brille bezeichnet, die dem Nutzer zusätzlich zum Sichtfeld weitere Informationen anzeigen kann, insbesondere in einer erweiterten Realität.
Eine Smartbrille hat den Vorteil, dass diese vom Nutzer stets mitgeführt werden kann, dabei jedoch die Hände frei verfügbar sind. Die Anzeige kann in einer erweiterten Realität („augmented reality") dargestellt werden. Somit werden die reale Umgebung und das anzuzeigende virtuelle Objekt in optimaler Weise verknüpft.
Das Anpassen des Objekts kann zumindest einen Schritt umfassen, ausgewählt aus: Verschieben und/oder Drehen des Objekts, Ändern der Höhe, Breite und/oder Tiefe des Objekts, Ändern oder Auswählen der Oberflächenfarbe und/oder struktur, Anbringen oder Ändern von Beschlägen, Einbringen einer Ausnehmung oder Bohrung, und/oder Ändern oder Auswählen eines Materials für Abschnitte des Objekts.
Das Anpassen des Objekts kann mittels Gestensteuerung erfolgen. Diese Art der Objekt-Manipulation ist besonders vorteilhaft in Kombination mit einer Smartbrille/Datenbrille einsetzbar . Das Anpassen des Objekts kann beispielsweise ein Entnehmen eines Teilstücks des Objekts und Anpassen des Teilstücks umfassen. Im Falle eines Möbelstücks kann beispielsweise eine Schublade entnommen und deren Beschichtungsmaterial geändert werden. Wird das Verfahren im Rahmen einer Fabrikplanung eingesetzt, so ist es möglich, beispielsweise eine Bearbeitungseinrichtung einer Bearbeitungsmaschine zu entnehmen und deren äußere Abmessungen zu verändern.
Es ist bevorzugt, dass, beim Ermitteln von Dimensionen, bei Erreichung eines Schwellwertes einer bestimmten
Messgenauigkeit eine visuell oder akustisch wahrnehmbare Freigabe übermittelt wird. Somit kann der Nutzer über den aktuellen Status des Messvorgangs informiert werden. Nach einer Freigabe kann sich der Nutzer neuen Tätigkeiten zuwenden .
Gemäß einer bevorzugten Ausführungsform ist es vorgesehen, dass zum Anzeigen eines Objekts auf eine Datenbank, insbesondere einen Cloudserver, zugegriffen wird. Somit sind die hinterlegten Daten geräteunabhängig verfügbar, ggf. für mehrere Personen gleichzeitig.
Ferner kann es vorgesehen sein, dass die Dimensionen eine Fläche und Höhe eines AufStellorts, und/oder eine Dachschräge, Vorsprünge, angrenzende Gegenstände,
Veränderungen der Bodenoberfläche, wie Stufen oder Schrägen, umfassen .
Nach dem Anpassen des Objekts kann das Arbeitsergebnis gespeichert werden, insbesondere in einem lokalen Speicher der mobilen Vorrichtung oder auf einem Cloudserver.
Ferner wird eine Verwendung einer Smartbrille zum Anpassen eines virtuellen Objekts bereitgestellt, insbesondere eines Möbelstücks oder einer Bearbeitungsmaschine, wobei das Objekt mittels der Smartbrille vor dem Hintergrund des realen Raums angezeigt wird und das angezeigte Objekt angepasst wird.
Im Rahmen der Verwendung der Smartbrille können die zuvor genannten Aspekte einzeln oder in Kombination zum Einsatz kommen. Entsprechendes gilt für das in Anspruch 14 aufgeführte System.
Kurze Beschreibung der Zeichnungen
Figur 1 zeigt den Einsatz einer Smartbrille bei der Planung eines Möbelstücks als ein Ausführungsbeispiel.
Figur 2 zeigt einen Verfahrensablauf gemäß einer
bevorzugten Ausführungsform der Erfindung.
Detaillierte Beschreibung der bevorzugten Ausführungsformen
Nachfolgend wird anhand der beigefügten Figuren eine bevorzugte Ausführungsform der folgenden Erfindung beschrieben. Die bevorzugte Ausführungsform dient lediglich der Veranschaulichung der vorliegenden Erfindung. Weitere in diesem Zusammenhang genannte Modifikationen bestimmter Merkmale der beschriebenen Ausführungsform können jeweils miteinander kombiniert werden, um weitere Ausführungsformen auszubilden .
Die nachfolgend detailliert beschriebene Ausführungsform betrifft den Einsatz einer Smartbrille zur Planung oder Anpassung eines Möbelstücks. Ein weiteres Beispiel zur Anwendung der vorliegenden Erfindung ist die Fabrikplanung oder die Planung einer industriellen Anlage, im Rahmen derer eine Maschine, Fertigungsstraße, Peripheriegeräte usw. an einen vorgegebenen Ort in einer Fabrikhalle platziert werden und deren Konfiguration angepasst oder geändert wird.
Ein Aspekt der vorliegenden Ausführungsform ist die Verwendung einer sogenannten Smartbrille 10 als einem bevorzugten Beispiel einer mobilen Vorrichtung, mit der es möglich ist, die reale Umgebung mit einer virtuellen Welt zu verknüpfen (so genannte „mixed reality" oder „augmented reality") . Dabei wird dem Anwender ein virtuelles Objekt, wie im vorliegenden Ausführungsbeispiel ein Möbelstück, im Blickfeld, und somit in der realen Umgebung, angezeigt. Die Smartbrille 10 verfügt hierzu über ein HMD-Display (head mounted display) .
Zwar wird im Rahmen der vorliegenden Ausführungsform eine Smartbrille 10 als eine mobile Vorrichtung beschrieben. In anderen Ausführungsformen kann alternativ oder zusätzlich ein Smartphone, ein Laptop oder ein Tablet zum Einsatz kommen.
Die Smartbrille 10 ist zusätzlich mit Sensoren ausgestattet. Insbesondere ist eine Sensoreinheit vorgesehen, mit der die konkret beobachtete Umgebung vermessen werden kann. Darüber hinaus ist die Smartbrille 10 in weiteren Ausführungsformen mit einem Positionssensor, einem oder mehreren Beschleunigungssensor (en) und/oder einem oder mehreren Gyrosensor (en) ausgestattet.
Mit dem Positionssensor (Triangulationsverfahren über WLAN oder Bluetooth) kann die Position des Nutzers erfasst werden. Die ermittelten Daten können zum Positionstracking verwendet werden. Auf Grundlage der von den Beschleunigungssensoren und Gyrosensoren ermittelten Daten (6 Freiheitsgrade) kann die Ausrichtung der Smartbrille 10, und somit die Ausrichtung des Kopfes des Nutzers, festgestellt werden. Für eine drahtlose Kommunikation verfügt die Smartbrille 10 bevorzugt über eine Funkschnittstelle, beispielsweise ein WLAN-Modul, so dass die ermittelten Informationen zu einer Datenbank übermittelt werden können. Alternativ ist eine Bluetooth-Verbindung oder eine Mobilfunkverbindung gemäß UMTS- oder LTE-Standard einsetzbar.
Der Anwender hat zunächst die Möglichkeit, mit der Smartbrille 10 die räumliche Umgebung, in die ein bestimmtes Möbelstück integriert werden soll, zu vermessen (Schritt Sl). Hierzu sind in der Smartbrille beispielsweise Laserabstandsensoren integriert, mit denen begrenzende Flächen, wie Wände oder Dachschrägen, erfasst werden können. Basierend auf den ermittelten Daten wird ein virtuelles Abbild des realen Raums 20 erstellt, das maßstabsgetreu dimensioniert ist. Hierzu werden verschiedene Maße 21a, 21b aufgenommen, die in Fig. 1 lediglich beispielhaft angedeutet werden .
Alternativ ist es möglich, ein externes Messsystem (beispielsweise Lasermesssystem) einzusetzen, welches mit einer Datenschnittstelle der Smartbrille in Verbindung steht oder in Verbindung gebracht werden kann. Die vom externen Messsystem ermittelten Werte können somit an die Smartbrille übertragen und entsprechend genutzt werden.
Darüber hinaus besteht, insbesondere bei einem Neubau, die Möglichkeit, dass bereits vorhandene CAD-Daten des entsprechenden Raumes bekannt sind. Diese Daten können ebenfalls zur Ermittlung der Dimensionen verwendet werden.
Es besteht die Möglichkeit, in einem Konfigurator eine Vorauswahl beispielsweise bezüglich eines bestimmten Möbelstücks, einer Gruppe von Möbelstücken oder von Teilprofilen eines Möbelstücks zu treffen (Schritt S2). Ein entsprechendes Möbelstück ist beispielsweise für die konkreten Platzbedingungen eine geeignete Variante, die der Anwender aus einer Liste auswählen kann. Die der Vorauswahl zu Grunde liegenden Daten der Möbelstücke wie Abmessungen, Farben, Materialstrukturen etc. können lokal in einem Speicher der Smartbrille 10 oder auf einem Server im lokalen Netzwerk gespeichert sein. Alternativ wird auf eine Datenbank, beispielsweise hinterlegt auf einem Cloudserver, zurückgegriffen .
Diese Daten könnten zuvor über ein standardisiertes Interface von einem bestimmten Hersteller oder einer vom Benutzer festgelegten Gruppe von Herstellern abgefragt werden. Anstelle eines standardisierten Interfaces könnten die 3D- Daten der Objekte bei den Herstellern standardisiert zur Verfügung gestellt werden. Alternativ wäre ein Konversionsmodul notwendig, das die verschiedenen Datenmodelle in ein einheitliches Modell umwandelt, wenn Objekte bzw. Möbelstücke von verschiedenen Herstellern in der Datenbank aktualisiert zusammengetragen werden sollen.
Das ausgewählte Möbelstück wird nachfolgend vor dem Hintergrund des realen Raumes angezeigt (Schritt S3) . Somit ist das Möbelstück virtuell, der Raum jedoch real. Mit anderen Worten erfolgt die Darstellung in einer erweiterten Realität (augmented reality) .
Die genaue Positionierung oder Anpassung der Dimensionen erfolgt nachfolgend interaktiv in Verknüpfung mit der realen Umgebung (Schritt S4) . Dabei erfolgen Änderungen wie eine Anpassung der Maße und/oder eine Umpositionierung des Möbelstücks durch Schieben oder Ziehen mit Gestensteuerung.
Dabei erfolgt die Interaktion in Kombination mit der realen Umgebung. Beispielsweise kann das Möbelstück nur bis zu einer bestimmten Wand geschoben oder in Richtung einer Dachschräge oder Ähnlichem vergrößert werden. Beispielsweise ist es möglich, ein Element des vorgeplanten Möbelstücks in der virtuellen Umgebung zu entnehmen, um dieses besser betrachten zu können.
Ein konkretes Beispiel ist dabei, aus einem Möbelstück, wie einem Hängeschrank, das obere Deckpaneel zu wählen und virtuell zu entnehmen. Nachfolgend kann in einem Bereich des Deckpaneels eine Öffnung erstellt werden, die später als Rohrdurchlass dienen soll. Alternativ könnte die Datenbrille auch in der Küche einen Wanddurchlass für die Abluft der Dunstabzugshaube erkennen und ausmessen und automatisch eine entsprechende Öffnung in dem Deckpaneel platzieren und dimensionieren. Nach Durchführen der Anpassung des Möbelstücks kann dieses wieder durch Gestensteuerung in der modifizierten Ausführung in das Möbelstück integriert werden.
Somit ist es möglich, dass der Nutzer das Produkt entwirft und nachfolgend auch erleben kann. Da die virtuelle Realität mit der realen Welt überlagert wird, können auch Randbedingungen bei der Planung des Möbelstücks einbezogen werden, beispielsweise die konkreten Farben und Strukturen des Bodens, der Wand und der Decke am Aufstellort, oder der Lichteinfall durch ein benachbart angeordnetes Fenster oder eine im Raum verfügbare Beleuchtung. Somit kann der Nutzer das gewünschte Produkt iterativ verbessern und an die konkret vorliegenden Verhältnisse anpassen, wobei die Erfassung mittels der Sensoren eine hohe Planungssicherheit bietet und somit die optimale Kaufentscheidung unterstützt.
Ferner kann ein Nutzer mit dem virtuellen Raum interagieren und beispielsweise die ergonomische Gestaltung von Türen, Schubladen usw. testen. Somit kann ausgeschlossen werden, dass bewegliche Elemente, wie Schubladen oder Türen, mit anderen im Raum vorhandenen Gegenständen, Wänden, Dachschrägen, oder ähnlichem kollidieren. Auch kann die richtige Positionierung bestimmter Elemente des Möbelstücks wie Regale, Böden, usw. überprüft werden.
Durch das geführte Vermessen des Raums mit der Smartbrille 10 können Messfehler vermieden werden. Beispielsweise wird dem Nutzer angezeigt, dass die für die Planung von der Genauigkeit in der vermessenen Zone erreicht wurde. Um dies dem Nutzer zu visualisieren, können Maßlinien oder eine andere Anzeige in grüner Farbe dargestellt werden. Würde die Genauigkeit nicht erreicht, und muss der Nutzer die Messung gegebenenfalls nochmal vornehmen, erscheint eine in roter Farbe dargestellte Visualisierung. Alternativ zu einer visuellen Anzeige kann die Smartbrille 10 über einen integrierten Lautsprecher ein akustisches Freigabesignal ausgeben .
Mittels des integrierten Lautsprechers ist es ferner möglich, dem Nutzer eine Montageanleitung vorzulesen oder telefonisch Kontakt mit einem Berater aufzunehmen. Darüber hinaus ist es möglich, eine Montageanleitung visuell anzuzeigen. Die visuelle Anzeige kann ggf. zusätzlich zur akustischen Mitteilung über den Lautsprecher erfolgen.
Nachdem der Nutzer das Möbelstück entsprechend angepasst hat, kann das Arbeitsergebnis in einem lokalen Speicher der Smartbrille 10 oder in einem global verfügbaren Cloudserver gespeichert werden (Schritt S5) . Auch Zwischenergebnisse können entsprechend gespeichert werden.
Ferner ist es möglich, in verschiedenen Stufen simultan die Fertigungsmöglichkeiten durch den Hersteller zu überprüfen. Dies kann durch eine Abfrage bei einer Datenbank des Herstellers erfolgen. Alternativ ist es möglich, Restriktionen vorzugeben, welche die
Manipulationsmöglichkeiten beschränken . Nachfolgend ist es möglich, entweder mittels der Smartbrille oder einem anderem, bevorzugt mobilem, elektronischem Gerät eine Datenübertragung zum Hersteller vorzunehmen (Schritt S6) , beispielsweise einen Bestellvorgang beim Hersteller auszulösen. Dies könnte auch über eine Schnittstelle erfolgen, so dass die Verwendung der Smartbrille herstellerunabhängig ist.
Darauf aufbauend können Bearbeitungsoperationen wie Bohren, Ausschnitte anfertigen, Beschläge anbringen usw., an Teilen des geplanten Möbelstücks durchgeführt werden, nachdem Daten des fertig geplanten Möbelstücks an den Hersteller übersandt wurden. Hierzu werden die Daten, insbesondere CAD/CAM-Daten, an den Hersteller des Möbelstücks übersandt.
Durch die Sensoreinheit der Smartbrille ist es ferner möglich, bestehende Möbelstücke einzuscannen und deren Maße zu ermitteln. Auf diese Weise kann sichergestellt werden, dass ein neu konfiguriertes Möbelstück mindestens dasselbe Fassungsvolumen oder die gleiche Stellfläche besitzt.
Ferner können mittels der Smartbrille in einer Wand anzubringende Bohrlöcher angezeigt werden, die der Anwender direkt entsprechend an der Wand markieren kann. Somit können bereits vorbereitende Maßnahmen eingeleitet werden, noch bevor das Möbelstück gefertigt und ausgeliefert ist.
Beim Bestellvorgang (Schritt S6) kann dem Nutzer die Bearbeitungszeit der Bestellung und die geplante Auslieferung angezeigt werden. Ferner ist eine Kalkulation und eine Rechnungserstellung im Rahmen des Schritts S6 durchführbar.
Die vorliegende Erfindung ist nicht auf eine Anwendung in einem durch Wände oder ähnliches begrenzten räumlichen Bereich begrenzt. Vielmehr ist es möglich, ein Möbelstück in einem vergleichsweise offenen Umfeld zu konfigurieren bzw. einzupassen. Als Beispiel können beispielsweise Gartenmöbel virtuell auf einer Terrasse angeordnet und angepasst werden. In diesem Fall werden bestimmte Eckpunkte des Sichtfeldes, also beispielsweise die Begrenzung der Terrasse auf Grund des Bodenbelags, verwendet, um den Planungsort vorzugeben.
Ein weiteres Beispiel zur Anwendung der vorliegenden Erfindung ist die Fabrikplanung oder Planung einer industriellen Anlage, im Rahmen derer eine Maschine, Fertigungsstraße, Peripheriegeräte usw. an einen vorgegebenen Ort in einer Fabrikhalle platziert und deren Konfiguration angepasst oder geändert werden muss. Hierbei ist es möglich, eine Bearbeitungsmaschine zu wählen und in einer erweiterten Realität („augmented reality") im Fabrikgebäude anzuzeigen. Nachfolgend können Schutzeinrichtungen wie Schutzzäune, Sicherheitsmatten oder ähnliches entsprechend den räumlichen Gegebenheiten platziert und angepasst werden. Ferner ist es möglich, Maschinen und Transfereinrichtungen, wie Förderbänder, miteinander zu verbinden und die Führungspfade der Werkstücke entsprechend auszulegen. Somit ist unmittelbar ein Soll-Ist-Vergleich möglich.

Claims

Ansprüche
1. Verfahren zum Anpassen eines virtuellen Objekts unter Verwendung einer mobilen Vorrichtung (10), welche mobile Vorrichtung eine Anzeige aufweist, umfassend die
Schritte :
Ermitteln von Dimensionen (21a, 21b) in einem Raum (20);
Anzeigen des Objekts mittels der mobilen Vorrichtung (10) auf Grundlage der Dimensionen vor dem Hintergrund des Raums (20) ;
Anpassen des angezeigten Objekts.
2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die mobile Vorrichtung eine Smartbrille ist, wobei die Anzeige zum Anzeigen bevorzugt ein Head-mounted Display (10a) ist.
3. Verfahren gemäß einer der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass der Raum (20) ein Innenraum eines Gebäudes, insbesondere ein Zimmer oder eine
Fabrikhalle, oder ein Außenraum ist.
4. Verfahren gemäß einer der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass das Objekt ausgewählt ist aus einem Möbelstücks, wie eines Tisch, eines Schranks, eines Regals, eines Küchenmoduls, eines Gartenmöbels, eines Sofas, eines Sessels, einer Sitzgruppen oder ähnlichem, oder
einer Bearbeitungsmaschine, insbesondere einer
Holzbearbeitungsmaschine, oder einer industriellen
Anlage .
5. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Ermitteln der
Dimensionen (21a, 21b) mittels einer Sensoreinheit der mobilen Vorrichtung erfolgt, oder die, insbesondere über ein Messsystem, bevorzugt Lasermesssystem, ermittelten Dimensionen (21a, 21b) der mobilen Vorrichtung (10) über eine Schnittstelle bereitgestellt werden.
6. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Anpassen des Objekts zumindest einen Schritt umfasst, ausgewählt aus:
Verschieben und/oder Drehen des Objekts, Ändern der Höhe, Breite und/oder Tiefe des Objekts, Ändern oder Auswählen der Oberflächenfarbe und/oder -struktur, Anbringen oder Ändern von Beschlägen, Einbringen einer Ausnehmung oder Bohrung, und/oder Ändern oder Auswählen eines Materials für Abschnitte des Objekts.
7. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Anpassen des Objekts mittels Gestensteuerung erfolgt.
8. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Anpassen des Objekts ein Entnehmen eines Teilstücks des Objekts und Anpassen des Teilstücks umfasst.
9. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass, beim Ermitteln von
Dimensionen (21a, 21b) , bei Erreichung eines
Schwellwertes einer bestimmten Messgenauigkeit eine visuell oder akustisch wahrnehmbare Freigabe übermittelt wird .
10. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zum Anzeigen eines Objekts auf eine Datenbank, insbesondere einen Cloudserver, zugegriffen wird.
11. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Dimensionen eine Fläche und Höhe eines Aufstellorts, und/oder eine Dachschräge, Vorsprünge, angrenzende Gegenstände, Veränderungen der Bodenoberfläche, wie Stufen oder Schrägen, umfasst.
12. Verfahren gemäß einer der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass nach dem Anpassen des Objekts das Arbeitsergebnis gespeichert wird,
insbesondere in einem lokalen Speicher der mobilen
Vorrichtung oder auf einem Cloudserver.
13. Verwendung einer Smartbrille (10) zum Anpassen eines virtuellen Objekts, insbesondere eines Möbelstücks, einer Bearbeitungsmaschine, oder Teilen hiervon, wobei das Objekt mittels der Smartbrille (10) vor dem
Hintergrund des realen Raums angezeigt wird und das angezeigte Objekt angepasst wird.
14. System unter Verwendung einer mobilen Vorrichtung (10), welche mobile Vorrichtung eine Anzeige zum Anzeigen eines virtuellen Objekts aufweist, wobei:
- das System eine Sensoreinheit der mobilen Vorrichtung (10) oder ein mit der mobilen Vorrichtung (10) verbindbares Messsystem aufweist, um Dimensionen (21a, 21b) in einem Raum (20) zu ermitteln,
- die Anzeige eingerichtet ist, das Objekt vor dem
Hintergrund des Raums (20) anzuzeigen, und - die mobile Vorrichtung für eine Anpassung des Objekts vorgesehen ist.
EP18723825.8A 2017-05-11 2018-05-09 Verfahren zum anpassen eines virtuellen objekts Ceased EP3622467A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017207995.9A DE102017207995A1 (de) 2017-05-11 2017-05-11 Verfahren zum Anpassen eines virtuellen Objekts
PCT/EP2018/062015 WO2018206652A1 (de) 2017-05-11 2018-05-09 Verfahren zum anpassen eines virtuellen objekts

Publications (1)

Publication Number Publication Date
EP3622467A1 true EP3622467A1 (de) 2020-03-18

Family

ID=62148384

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18723825.8A Ceased EP3622467A1 (de) 2017-05-11 2018-05-09 Verfahren zum anpassen eines virtuellen objekts

Country Status (3)

Country Link
EP (1) EP3622467A1 (de)
DE (1) DE102017207995A1 (de)
WO (1) WO2018206652A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020201375B3 (de) 2020-02-05 2021-06-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10127396A1 (de) * 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
DE10240392A1 (de) * 2002-09-02 2004-03-11 Patron, Günter System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technology
DE102005011126A1 (de) * 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
EP2698600A1 (de) * 2012-08-16 2014-02-19 Leica Geosystems AG Entfernungsmessmodul
WO2014182545A1 (en) * 2013-05-04 2014-11-13 Vupad Partners, Llc Virtual object scaling in augmented reality environment
US20160147408A1 (en) * 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US20160378887A1 (en) * 2015-06-24 2016-12-29 Juan Elias Maldonado Augmented Reality for Architectural Interior Placement

Also Published As

Publication number Publication date
WO2018206652A1 (de) 2018-11-15
DE102017207995A1 (de) 2018-11-15

Similar Documents

Publication Publication Date Title
DE102010036499B4 (de) Werkzeugvektor-Anzeigevorrichtung für eine Werkzeugmaschine mit Drehachse
DE10128015A1 (de) Verfahren und System zum Planen einer veränderten Produktionsumgebung, insbesondere einer Fertigungsumgebung für Fahrzeugkomponenten
EP2638358B1 (de) Gerät zum vermessen und markieren von raumpunkten entlang horizontal verlaufender höhenlinien
DE102016004382A1 (de) Verfahren und Vorrichtung zum Planen und/oder Steuern und/oder Simulieren des Betriebs einer Baumaschine
DE102010018634B4 (de) Verfahren zur Eingabe eines räumlichen Aufbaus von Fertigungseinrichtungen in ein rechnergestütztes Planungsprogramm und dessen Optimierung
DE102019002898A1 (de) Robotorsimulationsvorrichtung
WO2008055733A1 (de) Mobiles messsystem und verfahren zur erfassung von raumprofilschnitten
DE102015004483A1 (de) Robotersteuerung und Robotersystem zum Bewegen eines Roboters als Reaktion auf eine Kraft
DE102010007159A1 (de) Vorrichtung und Verfahren zur Festlegung von Umrissen, Punkten oder Werken sowie Führungsvorrichtung zur Verwendung
DE102012024934B4 (de) Verfahren und Programmiersystem zur erstmaligen Erstellung eines auf einem Messroboter ausführbaren Messprogramms für die Messung eines neuen Messobjekts
US11748525B2 (en) Systems and methods for generating textiles with repeating patterns
EP2277005A1 (de) Mobiles messsystem und messverfahren
EP2531063B1 (de) Anordnung und verfahren zur visualisierung von dekoren in einem virtuellen raum
WO2018206652A1 (de) Verfahren zum anpassen eines virtuellen objekts
EP3648651B1 (de) Nivelliereinrichtung für ein haushaltsgerät, haushaltsgerät und nivellierverfahren für ein haushaltsgerät
DE102015118823A1 (de) Vorrichtung und Verfahren zur automatisierten Herstellung von Maßschuhen
EP3931524B1 (de) Aufbau von schalungen und gerüsten mit hilfe von mobilgeräten
EP2277082B1 (de) Projektionsmittel umfassende vorrichtung
EP3640767A1 (de) Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
WO2022223168A1 (de) Einrichtungsplanungssystem, behälter, schablone und verfahren zur verwendung des einrichtungsplanungssystems
US11372390B2 (en) System, method, and program for manufacturing computer-designed part members of furniture using machining equipment
EP3132921A1 (de) System und verfahren zur erstellung einer befestigungsanordnung mittels additiven fertigungsverfahren, sowie derart erstellte befestigungsanordnung
DE112018007985T5 (de) Anzeigesystem, 3D-Druckvorrichtung und Fortschrittsanzeigeverfahren
WO2022171462A1 (de) System zur raum- und/oder flächenplanung, verwendung eines genetischen algorithmus
DE102018222148B4 (de) Bearbeitung von visuell darstellbaren Informationen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191204

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210504

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20220715