DE102022206395A1 - Method for simulating a room as a virtual reality using a simulation device, computer program product, computer-readable storage medium and simulation device - Google Patents
Method for simulating a room as a virtual reality using a simulation device, computer program product, computer-readable storage medium and simulation device Download PDFInfo
- Publication number
- DE102022206395A1 DE102022206395A1 DE102022206395.3A DE102022206395A DE102022206395A1 DE 102022206395 A1 DE102022206395 A1 DE 102022206395A1 DE 102022206395 A DE102022206395 A DE 102022206395A DE 102022206395 A1 DE102022206395 A1 DE 102022206395A1
- Authority
- DE
- Germany
- Prior art keywords
- simulation
- simulation device
- depending
- virtual reality
- user input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004590 computer program Methods 0.000 title claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Abstract
Die Erfindung betrifft ein Verfahren zum Simulieren eines Raums (12) als virtuelle Realität (14) mittels einer Simulationsvorrichtung (10), bei welchem in Abhängigkeit von einem bereitgestellten Datensatz (22) für den Raum (12) eine dreidimensionale Simulation als virtuelle Realität (14) mittels einer elektronischen Recheneinrichtung (18) der Simulationsvorrichtung (10) erzeugt wird und die dreidimensionale Simulation auf einer Anzeigeeinrichtung (16) der Simulationsvorrichtung (10) für eine Person (24) angezeigt wird, wobei in Abhängigkeit einer einzigen Nutzereingabe (26) bei einer Eingabeeinrichtung (20) der Simulationsvorrichtung (10) ein Objekt (28, 30, 32) als Punktwolke in der dreidimensionalen Simulation zum Bearbeiten des Objekts (28, 30, 32) ausgewählt wird. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine Simulationsvorrichtung (10).
Description
Die Erfindung betrifft ein Verfahren zum Simulieren eines Raums als virtuelle Realität mittels einer Simulationsvorrichtung gemäß dem geltenden Patentanspruch 1. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine Simulationsvorrichtung.The invention relates to a method for simulating a room as virtual reality by means of a simulation device according to applicable patent claim 1. The invention further relates to a computer program product, a computer-readable storage medium and a simulation device.
Es ist bereits bekannt, dass Räume als virtuelle Realität, insbesondere als dreidimensionale virtuelle Realität, auf einer Anzeigeeinrichtung, beispielsweise einer VR-Brille, entsprechend angezeigt werden können. Ferner ist bekannt, dass auch zweidimensionale Modelle entsprechend auf einer Anzeigeeinrichtung angezeigt werden können.It is already known that rooms can be displayed as virtual reality, in particular as three-dimensional virtual reality, on a display device, for example VR glasses. Furthermore, it is known that two-dimensional models can also be displayed on a display device.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine Simulationsvorrichtung zu schaffen, mittels welchem vereinfacht eine Bedienung für eine Person als ein Nutzer der Simulationsvorrichtung realisiert werden kann.The object of the present invention is to create a method, a computer program product, a computer-readable storage medium and a simulation device, by means of which operation for a person as a user of the simulation device can be implemented in a simplified manner.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine Simulationsvorrichtung gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.This task is solved by a method, a computer program product, a computer-readable storage medium and a simulation device according to the independent patent claims. Advantageous embodiments are specified in the subclaims.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Simulieren eines Raums als virtuelle Realität mittels einer Simulationsvorrichtung, bei welchem in Abhängigkeit von einem bereitgestellten Datensatz eine dreidimensionale Simulation als virtuelle Realität mittels einer elektronischen Recheneinrichtung der Simulationsvorrichtung erzeugt wird und die dreidimensionale Simulation auf einer Anzeigeeinrichtung der Simulationsvorrichtung für eine Person angezeigt wird, wobei in Abhängigkeit einer einzigen Nutzereingabe bei einer Eingabeeinrichtung der Simulationsvorrichtung ein Objekt als Punktwolke in der dreidimensionalen Simulation zum Bearbeiten des Objekts ausgewählt wird.One aspect of the invention relates to a method for simulating a space as a virtual reality by means of a simulation device, in which, depending on a data set provided, a three-dimensional simulation is generated as a virtual reality by means of an electronic computing device of the simulation device and the three-dimensional simulation is displayed on a display device of the simulation device for a person is displayed, wherein depending on a single user input at an input device of the simulation device, an object is selected as a point cloud in the three-dimensional simulation for editing the object.
Insbesondere ist somit ein nutzergeführter Algorithmus vorgeschlagen. Zunächst kann dabei der Nutzer direkt in der virtuellen Realität, welche auch als Virtual Realtiy (VR) bezeichnet werden kann, mittels der einen entsprechenden Eingabeeinrichtung einen Punkt in der Punktwolke auswählen, was insbesondere einer sogenannten 1-Click-Selektion entspricht. Auf Basis der Auswahlkriterien wird eine Menge an Punkten gewählt. Diese Menge wird durch den Nutzer klassifiziert, kann zum Beispiel als Wand oder als Tisch bezeichnet werden. Dazu nutzt er eine entsprechende Eingabeeinrichtung, beispielsweise in Form einer Tastatur oder ein entsprechendes Auswahlmenü, insbesondere für die virtuelle Realität.In particular, a user-guided algorithm is proposed. First of all, the user can select a point in the point cloud directly in virtual reality, which can also be referred to as virtual reality (VR), using the corresponding input device, which corresponds in particular to a so-called 1-click selection. A set of points is selected based on the selection criteria. This quantity is classified by the user, for example it can be referred to as a wall or a table. To do this, he uses a corresponding input device, for example in the form of a keyboard or a corresponding selection menu, especially for virtual reality.
Insbesondere auf Basis von Laserscanning, Depth Sensing, Li-DAR, oder Photogrammitry können entsprechende Datensätze mit den Punktwolken zur weiteren Verarbeitung und Analyse, beispielsweise von Räumen, erzeugt werden. Eine Punktwolke ist das dreidimensionale Abbild der Realität, vergleichbar mit einem Foto, welches aus farbigen, zweidimensionalen Punkten, sogenannten Pixeln, ausgebildet ist. Eine Punktwolke besteht aus farbigen, dreidimensionalen Punkten, sogenannten Voxeln, und ist daher im Grunde eine Liste von Vektoren, insbesondere mit der Form von x, y, z für die Position und r, g, b, a für die Farbe. Eine Punktwolke erhält darüber hinaus in der Regel keine weiteren Zusatzinformationen.In particular, based on laser scanning, depth sensing, Li-DAR, or photogrammitry, corresponding data sets can be generated with the point clouds for further processing and analysis, for example of rooms. A point cloud is the three-dimensional image of reality, comparable to a photo, which is made up of colored, two-dimensional points, so-called pixels. A point cloud consists of colored, three-dimensional points called voxels, and is therefore essentially a list of vectors, specifically with the form of x, y, z for position and r, g, b, a for color. A point cloud usually does not receive any additional information.
Es können somit beispielsweise auf Basis von Laserscans entsprechende Räumlichkeiten gescannt werden. Die Punktwolke ist dabei ein digitaler Zwilling des Raums. Die daraus entstandenen Punktwolken werden nun mittels der VR-Brille betrachtet, begangen und bearbeitet.For example, corresponding rooms can be scanned based on laser scans. The point cloud is a digital twin of the room. The resulting point clouds are now viewed, walked on and edited using VR glasses.
Eine Hauptfunktionalität in einer solchen virtuellen Realitätsanwendung ist dabei die sogenannte 1-Click-Auswahl und Klassifikation von Teilen der Punktwolke. So wird vorliegend zum Beispiel mittels der Eingabeeinrichtung oder auch einem entsprechenden Controller ein Punkt in der Punktwolke, beispielsweise eines Tisches, angeklickt, und die gesamte Tischfläche wird ausgewählt und als „Tisch“ klassifiziert. Analog wird ein Punkt in der Punktwolke einer Wand, eines Bodens, einer Decke, ausgewählt und daraufhin die gesamte angrenzende Fläche klassifiziert.A main functionality in such a virtual reality application is the so-called 1-click selection and classification of parts of the point cloud. In the present case, for example, a point in the point cloud, for example a table, is clicked using the input device or a corresponding controller, and the entire table surface is selected and classified as a “table”. Analogously, a point in the point cloud of a wall, a floor, or a ceiling is selected and the entire adjacent area is then classified.
Gemäß einer vorteilhaften Ausgestaltungsform wird das Objekt in Abhängigkeit von einer Ähnlichkeit einer Ebene der Punktwolke erkannt. Mittels einem Klick beziehungsweise einer Auswahl in die Punktwolke wird ein Punkt und dessen Nachbarpunkte innerhalb eines vorgegebenen Radius ausgewählt. Aus dieser Menge an Punkten wird die gemeinsame Ebene ermittelt, auf der sich diese Punkte befinden. Es gibt unterschiedliche Verfahren zur Bestimmung einer solchen Ebene. Beispielsweise kann eine Gruppe aus jeweils drei Punkten gebildet werden, die jeweils eine eigene Ebene bestimmen. Jede Ebene hat einen Normalenvektor. Ermittelt man alle errechneten bestimmten Normalenvektoren, erhält man die Normale der durchschnittlichen Ebene. Es kann nun überprüft werden, welche Punkte, insbesondere innerhalb einer vorgegebenen Toleranz, auf dieser Ebene liegen, und diese werden dann wiederum ausgewählt.According to an advantageous embodiment, the object is recognized depending on a similarity of a plane of the point cloud. By clicking or selecting in the point cloud, a point and its neighboring points within a specified radius are selected. From this set of points, the common plane on which these points are located is determined. There are different methods for determining such a level. For example, a group can be formed from three points, each of which defines its own level. Each plane has a normal vector. If you determine all the calculated normal vectors, you get the normal of the average plane. It can now be checked which points lie on this level, in particular within a specified tolerance, and these are then selected in turn.
Weiterhin vorteilhaft ist, wenn das Objekt in Abhängigkeit von einer Ähnlichkeit einer Farbe des Objekts erkannt wird. Mittels einem Klick in die Punktwolke wird wiederum ein Punkt ausgewählt. Dessen Farbwert wird als Anhaltspunkt genommen, um alle weiteren Punkte zu finden, die innerhalb einer gegebenen Toleranz diesem Farbwert ähneln.It is also advantageous if the object is recognized depending on a similarity of a color of the object. By clicking in the point cloud, a point is selected again. Its color value is used as a guide to find all other points that are similar to this color value within a given tolerance.
In einer weiteren vorteilhaften Ausgestaltungsform wird das Objekt in Abhängigkeit von einer Ähnlichkeit einer Form des Objekts erkannt. Wird eine Teilwolke, beispielsweise alle Punkte eines Tisches, aus der Punktwolke ausgewählt, so kann mittels einer Ähnlichkeitssuche alle weiteren Teilwolken von anderen Tischen entsprechend ausgewählt werden.In a further advantageous embodiment, the object is recognized depending on a similarity of a shape of the object. If a subcloud, for example all points of a table, is selected from the point cloud, all other subclouds from other tables can be selected accordingly using a similarity search.
Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit von einer Benutzereingabe eine Vielzahl von ähnlichen Objekten in der Punktwolke ausgewählt wird. Insbesondere handelt es sich somit um eine unabhängige Auswahl, wobei alle Punkte innerhalb der Punktwolke betrachtet werden. Bei der Auswahl eines Tisches können beispielsweise dann alle Tischflächen innerhalb der Punktwolke ausgewählt werden, sofern deren Punkte auf der gleichen Ebene liegen.Furthermore, it has proven to be advantageous if a large number of similar objects are selected in the point cloud depending on user input. In particular, this is an independent selection, with all points within the point cloud being considered. When selecting a table, for example, all table surfaces within the point cloud can be selected as long as their points are on the same plane.
In einer weiteren vorteilhaften Ausgestaltungsform wird in Abhängigkeit von der Nutzereingabe eine Vielzahl von weiteren Objekten in einem vorgegebenen Umfeld des ausgewählten Objekts ausgewählt. Insbesondere kann somit eine zusammenhängende Auswahl vorgeschlagen werden, und überprüft werden, ob entsprechende Punkte zusammenhängen. Werden innerhalb eines vorgegebenen Radius, insbesondere als Umfeld, um einen ausgewählten Punkt keine weiteren Punkte mehr gefunden, so kann die Auswahl beendet werden. So kann zum Beispiel sichergestellt werden, dass nur eine Tischfläche ausgewählt wird.In a further advantageous embodiment, a large number of further objects are selected in a predetermined environment of the selected object depending on the user input. In particular, a coherent selection can be suggested and it can be checked whether corresponding points are connected. If no further points are found within a specified radius, in particular as a surrounding area, around a selected point, the selection can be ended. For example, you can ensure that only one table surface is selected.
Ferner hat es sich als vorteilhaft erwiesen, wenn während des Auswählens des Objekts eine Selektion mittels Boolschen Operatoren durchgeführt wird. Insbesondere können somit während des Auswahlvorgangs entsprechende Selektionen kombiniert werden. Beispielsweise können zwei Selektionen zusammengeführt werden, was insbesondere einem additiven Operator entspricht. Ein subtraktiver Operator kann ebenfalls genutzt werden, wobei dann eine Selektion von der anderen abgezogen wird. Es kann ferner auch eine Intersektion vorgeschlagen sein, welche die Schnittmenge zweier Selektionen auswählt. Auch eine negative Intersektion ist möglich, wobei die Schnittmenge von zwei Selektionen entsprechend ausgeschlossen wird.Furthermore, it has proven to be advantageous if a selection is carried out using Boolean operators while selecting the object. In particular, corresponding selections can be combined during the selection process. For example, two selections can be merged, which corresponds in particular to an additive operator. A subtractive operator can also be used, whereby one selection is subtracted from the other. An intersection can also be proposed, which selects the intersection of two selections. A negative intersection is also possible, whereby the intersection of two selections is excluded accordingly.
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass bei einer Eingabe eines Volumens durch die Person zumindest ein Objekt in dem Volumen ausgewählt wird. Beispielsweise kann die Person ein dreidimensionales Volumen erstellen. Alle Punkte innerhalb dieses Volumens werden ausgewählt. Das Volumen kann beispielsweise ein Quader oder eine komplexere Form sein, wie beispielsweise eine Kugel, ein Zylinder, ein Tetraeder oder dergleichen. Das Volumen kann auch ein komplexes CAD/3D-Modell sein, zum Beispiel ein Tisch, ein Schrank oder dergleichen.A further advantageous embodiment provides that when the person enters a volume, at least one object in the volume is selected. For example, the person can create a three-dimensional volume. All points within this volume are selected. The volume can be, for example, a cuboid or a more complex shape, such as a sphere, a cylinder, a tetrahedron or the like. The volume can also be a complex CAD/3D model, for example a table, a cupboard or the like.
Ebenfalls vorteilhaft ist, wenn der dreidimensionale Raum mittels eines r, g, b, a-Modells dargestellt wird. Insbesondere entspricht dabei r rot, g gelb, b blau und a einem Alpha. Somit kann farblich der dreidimensionale Raum erstellt werden und entsprechend angezeigt werden.It is also advantageous if the three-dimensional space is represented using an r, g, b, a model. In particular, r corresponds to red, g to yellow, b to blue and a to an alpha. This means that the three-dimensional space can be created in color and displayed accordingly.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn auf Basis eines maschinellen Lernens der elektronischen Recheneinrichtung das Objekt ausgewählt wird. Insbesondere kann die Auswahl und/oder die Klassifikation sich mit Unterstützung von maschinellem Lernen automatisieren. So ist maschinelles Lernen in der Lage, mit genügend Trainingsdaten die ausgewählte Menge als Wand oder als Tisch zu identifizieren. Der Nutzer kann überprüfen, ob die automatisch gewählte Klassifikation korrekt ist, und beispielsweise gegebenenfalls den Wert ändern.It has also proven to be advantageous if the object is selected on the basis of machine learning by the electronic computing device. In particular, the selection and/or classification can be automated with the support of machine learning. With enough training data, machine learning is able to identify the selected set as a wall or a table. The user can check whether the automatically selected classification is correct and, for example, change the value if necessary.
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass das Objekt mittels einer Spracheingabe als Nutzereingabe ausgewählt und/oder klassifiziert wird. Die Klassifikation kann somit auch verbal erfolgen. So muss die Person keine Klassifikation mittels einer entsprechenden Tastatur oder einem Auswahlmenü durchführen. Die Auswahl selbst kann ebenfalls verbal erfolgen. Der Nutzer kann beispielsweise am Eingabegerät beziehungsweise der Eingabeeinrichtung eine entsprechende Auswahl durchführen und per Spracheingabe beispielsweise den Tisch auswählen.A further advantageous embodiment provides that the object is selected and/or classified as user input using voice input. The classification can therefore also be done verbally. This means that the person does not have to carry out a classification using a corresponding keyboard or a selection menu. The selection itself can also be made verbally. The user can, for example, make a corresponding selection on the input device or input device and, for example, select the table using voice input.
Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit von einer erfassten Blickrichtung der Person als Nutzereingabe das Objekt ausgewählt wird. Hierbei kann insbesondere vorgesehen sein, dass der Nutzer beispielsweise einen Punkt in der Punktwolke mittels der Eingabeeinrichtung oder auch mittels der Blicksteuerung anvisiert und kann dann beispielsweise per Spracheingabe das Kommando zur Auswahl und Klassifikation geben. Dies reduziert den kognitiven Aufwand für den Nutzer und erhöht die Effizienz des Arbeitsablaufs.Furthermore, it has proven to be advantageous if the object is selected as user input depending on the direction in which the person is looking. In particular, it can be provided that the user, for example, targets a point in the point cloud using the input device or also using the eye control and can then give the command for selection and classification, for example by voice input. This reduces the cognitive effort for the user and increases the efficiency of the workflow.
Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen.The method presented is in particular a computer-implemented method. Therefore, another aspect concerns the Invention a computer program product with program code means which cause an electronic computing device to carry out a method according to the preceding aspect when the program code means are processed by the electronic computing device.
Das Computerprogrammprodukt kann auch als Computerprogramm bezeichnet werden.The computer program product can also be referred to as a computer program.
Ferner betrifft die Erfindung auch ein computerlesbares Speichermedium mit dem Computerprogrammprodukt.Furthermore, the invention also relates to a computer-readable storage medium with the computer program product.
Ein nochmals weiterer Aspekt der Erfindung betrifft eine Simulationsvorrichtung zum Simulieren eines Raums als virtuelle Realität, mit zumindest einer Anzeigeeinrichtung, einer elektronischen Recheneinrichtung und einer Eingabeeinrichtung, wobei die Simulationsvorrichtung zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels der Simulationsvorrichtung durchgeführt.Yet another aspect of the invention relates to a simulation device for simulating a space as a virtual reality, with at least one display device, an electronic computing device and an input device, the simulation device being designed to carry out a method according to the previous aspect. In particular, the method is carried out using the simulation device.
Die elektronische Recheneinrichtung weist beispielsweise Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, sowie weitere elektronische Bauteile auf, um entsprechende Verfahrensschritte durchführen zu können.The electronic computing device has, for example, processors, circuits, in particular integrated circuits, and other electronic components in order to be able to carry out corresponding method steps.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums sowie der Simulationsvorrichtung anzusehen. Die Simulationsvorrichtung weist insbesondere gegenständliche Merkmale auf, um entsprechende Verfahrensschritte durchführen zu können.Advantageous embodiments of the method are to be viewed as advantageous embodiments of the computer program product, the computer-readable storage medium and the simulation device. The simulation device has, in particular, objective features in order to be able to carry out corresponding method steps.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise with the method and that are not explicitly described here, it can be provided that an error message and/or a request to enter user feedback and/or a standard setting and/or a predetermined one can be issued according to the method Initial state is set.
Im Nachfolgenden wird ein Ausführungsbeispiel näher beschrieben. Dabei zeigt die einzige FIG eine schematische Ansicht einer Ausführungsform einer Simulationsvorrichtung.An exemplary embodiment is described in more detail below. The only FIG shows a schematic view of an embodiment of a simulation device.
In der FIG sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.In the FIG, identical or functionally identical elements are provided with the same reference numerals.
Insbesondere ist beim Simulieren des Raums 12 vorgesehen, dass in Abhängigkeit von einem bereitgestellten Datensatz 22 für den Raum 12 eine dreidimensionale Simulation als virtuelle Realität 14 mittels der elektronischen Recheneinrichtung 18 erzeugt wird und die dreidimensionale Simulation auf der Anzeigeeinrichtung 16 für die Person 24 angezeigt wird, wobei in Abhängigkeit einer einzigen Nutzereingabe 26 bei der Eingabeeinrichtung 20 der Simulationsvorrichtung 10 ein Objekt 28, 30, 32 als Punktwolke in der dreidimensionalen Simulation zum Bearbeiten des Objekts 28, 30, 32 ausgewählt wird.In particular, when simulating the
Insbesondere zeigt somit die FIG einen einfachen nutzergeführten Algorithmus. Zunächst kann beispielsweise die Person 24 direkt in der virtuellen Realität 14 mittels der Eingabeeinrichtung 20 einen Punkt in der Punktwolke mit einer 1-Click-Selektion auswählen. Auf Basis der Auswahlkriterien wird eine Menge an Punkten gewählt. Diese Menge wird durch die Person 24 klassifiziert, beispielsweise als „Wand“ oder als „Tisch“. Dazu nutzt die Person 24 beispielsweise eine VR-Tastatur als Eingabeeinrichtung 20 oder ein VR-Auswahlmenü als Eingabeeinrichtung 20.In particular, the FIG shows a simple user-guided algorithm. First, for example, the
Im folgenden Ausführungsbeispiel ist insbesondere gezeigt, dass als Objekt 28, 30, 32 eine Vielzahl von Objekten 28, 30, 32 in dem Raum 12 dargestellt sind. Beispielsweise kann ein erstes Objekt 28 als Tisch ausgebildet sein und ein zweites Objekt 30 ebenfalls als Tisch ausgebildet sein. Ein drittes Objekt 32 ist im vorliegenden Ausführungsbeispiel als Stuhl dargestellt. Diese Ausführung mit drei Objekten 28, 30, 32 ist rein beispielhaft und keinesfalls abschließend zu verstehen. Es können auch weitere Objekte 28, 30 ,32 und auch andere Objekte 28, 30 ,32 im Raum 12 dargestellt werden.In the following exemplary embodiment it is shown in particular that a large number of
Die Auswahlkriterien können beispielsweise durch die Auswahl nach Ähnlichkeit der Ebene dargestellt werden. Mittels einem Klick in die Punktwolke wird ein Punkt und dessen Nachbarpunkt innerhalb eines vorgegebenen Radius ausgewählt. Aus dieser Menge an Punkten wird die gemeinsame Ebene ermittelt, auf der sich diese Punkte befinden. Es gibt zahlreiche Möglichkeiten zur Bestimmung einer solchen Ebene. Beispielsweise kann eine Gruppe aus jeweils drei Punkten gebildet werden, die jeweils eine eigene Ebene bestimmen. Ihre Ebene hat einen Normalvektor. Ermittelt man alle errechneten Normalenvektoren, erhält man die Normale der durchschnittlichen Ebene. Es kann überprüft werden, welche Punkt, insbesondere innerhalb einer gegebenen Toleranz, auf dieser Ebene liegen, und diese werden ausgewählt.The selection criteria can be represented, for example, by selecting based on level similarity. By clicking in the point cloud, a point and its neighboring point within a specified radius are selected. From this set of points, the common plane on which these points are located is determined. There are numerous ways to determine such a level. For example, a group can be formed from three points, each of which defines its own level. Your plane has a normal vector. If you determine all the calculated normal vectors, you get the normal of average level. It can be checked which points lie on this plane, particularly within a given tolerance, and these are selected.
Ferner kann auch eine Auswahl nach Ähnlichkeit der Farbe durchgeführt werden. Mittels einem Klick in die Punktwolke kann ein Punkt ausgewählt werden. Dessen, insbesondere r, g, b, a Farbwert, wird als Anhaltspunkt genommen, um alle weiteren Punkte zu finden, die innerhalb einer gegebenen Toleranz diesem Farbwert ähneln.Furthermore, a selection can also be made based on color similarity. A point can be selected by clicking in the point cloud. Its color value, in particular r, g, b, a, is used as a guide to find all other points that are similar to this color value within a given tolerance.
Ferner kann auch eine Auswahl nach Ähnlichkeit der Form durchgeführt werden. Wird eine Teilwolke ausgewählt, zum Beispiel alle Punkte eines Tisches, so kann mittels einer Ähnlichkeitssuche alle weiteren Teilwolken von anderen Tischen ausgewählt werden.Furthermore, a selection can also be carried out based on similarity of shape. If a sub-cloud is selected, for example all points on a table, all other sub-clouds from other tables can be selected using a similarity search.
Ebenfalls kann eine zusammenhängende oder unabhängige Auswahl realisiert werden. Die unabhängige Auswahl betrachtet alle Punkte innerhalb der Punktwolke. So würde man bei der Auswahl eines Tisches gleich alle Tischflächen innerhalb der Wolke auswählen, sofern deren Punkte auf der gleichen Ebene liegen. Insbesondere kann somit in Abhängigkeit von der Nutzereingabe eine Vielzahl von ähnlichen Objekten 28, 30, 32 in der Punktwolke ausgewählt werden.A coherent or independent selection can also be realized. The independent selection considers all points within the point cloud. When selecting a table, you would immediately select all table surfaces within the cloud, as long as their points are on the same level. In particular, a large number of
Eine zusammenhängende Auswahl ermöglicht es, entsprechend zusammenhängende Punkte zu erfassen. Werden innerhalb eines vorgegebenen Radius um einen ausgewählten Punkt keine weiteren Punkte mehr gefunden, wird die Auswahl beendet. So wird zum Beispiel sichergestellt, dass nur eine Tischfläche ausgewählt. Dadurch kann beispielsweise in Abhängigkeit von der Nutzereingabe eine Vielzahl von weiteren Objekten 30, 32 ausgewählt werden.A coherent selection makes it possible to capture correspondingly related points. If no further points are found within a specified radius of a selected point, the selection is ended. For example, this ensures that only one table surface is selected. This allows, for example, a large number of
Während eines Auswählens des Objekts 28, 30, 32 kann eine Selektion mittels Boolschen Operatoren durchgeführt werden. Dies kann beispielsweise additiv der Fall sein, wobei dabei zwei Selektionen zusammengeführt werden. Alternativ kann es subtraktiv sein, wobei eine Selektion abgezogen wird.While selecting the
Es kann auch eine Intersektion bereitgestellt werden, wobei die Schnittmenge zweier Selektionen ausgewählt wird. Auch eine negative Intersektion kann bereitgestellt werden, welches die Schnittmenge zweier Selektionen ausschließt.An intersection can also be provided, where the intersection of two selections is selected. A negative intersection can also be provided, which excludes the intersection of two selections.
Es kann auch eine Auswahl nach Volumen beziehungsweise nach einem dreidimensionalen Modell durchgeführt werden. Somit kann bei einer Eingabe eines Volumens durch die Person 24 und zumindest ein Objekt 28, 30, 32 in dem Volumen ausgewählt werden. Der Nutzer/Person 24 erstellt dabei ein dreidimensionales Volumen. Alle Punkte innerhalb dieses Volumens werden ausgewählt. Das Volumen kann ein Quader, oder eine komplexere Form sein, beispielsweise eine Kugel, ein Zylinder, ein Tetraeder oder dergleichen. Das Volumen kann auch ein komplexes CAD-Modell beziehungsweise ein dreidimensionales Modell sein, beispielsweise ein Tisch, ein Schrank oder dergleichen.A selection can also be made based on volume or a three-dimensional model. Thus, when a volume is entered by the
Es kann auch eine Auswahl durch Zeichnen realisiert werden, beispielsweise kann die Person 24 mittels der Eingabeeinrichtung 20 eine Auswahl direkt in entsprechende Punktwolke einzeichnen.A selection can also be made by drawing, for example the
Es ist ebenfalls möglich, die Auswahl nach Fläche, Volumen, Zeichnen und Farbe miteinander zu kombinieren. So kann zum Beispiel ein Volumen gezeichnet werden, und alle Punkte innerhalb der Punktwolke, deren Farben, denen der im Volumen befindlichen Punkte ähneln, werden ausgewählt.It is also possible to combine the selection by area, volume, drawing and color. For example, a volume can be drawn and all points within the point cloud that have colors similar to those in the volume are selected.
Insbesondere kann die Klassifikation mit der Unterstützung von maschinellem Lernen automatisiert werden. Somit ist maschinelles Lernen in der Lage, auf Basis von Trainingsdaten die ausgewählte Menge als Wand oder als Tisch zu identifizieren. Die Person 24 kann überprüfen, ob die automatisch gewählte Klassifikation korrekt ist, und den Wert gegebenenfalls ändern.In particular, classification can be automated with the support of machine learning. Machine learning is therefore able to identify the selected set as a wall or a table based on training data. The
Ferner kann auch die Klassifikation verbal erfolgen, insbesondere auf Basis eines Sprachbefehls. So muss die Person 24 keine Klassifikation mittels einer VR-Tastatur oder einem VR-Auswahlmenü auswählen.Furthermore, the classification can also be carried out verbally, in particular on the basis of a voice command. This means that the
Die Auswahl selbst kann ebenfalls verbal erfolgen. Die Person 24 kann beispielsweise einen Punkt in der Punktwolke mittels einem VR-Eingabegerät oder einer Blicksteuerung anvisieren und gibt per Spracheingabe das Kommando zur Auswahl und Klassifikation. Dies reduziert den kognitiven Aufwand für den Nutzer und erhöht die Effizienz des Arbeitsablaufs.The selection itself can also be made verbally. The
Ausgewählte Punkte beziehungsweise Objekte 28, 30, 32 können auch anderweitig manipuliert werden. Beispielsweise können sie gelöscht werden, verschoben werden, gedreht werden, skaliert werden, kopiert beziehungsweise dupliziert werden, ausgeschnitten werden, eingefügt werden oder auch klassifiziert werden.Selected points or objects 28, 30, 32 can also be manipulated in other ways. For example, they can be deleted, moved, rotated, scaled, copied or duplicated, cut, pasted or even classified.
Claims (15)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022206395.3A DE102022206395A1 (en) | 2022-06-24 | 2022-06-24 | Method for simulating a room as a virtual reality using a simulation device, computer program product, computer-readable storage medium and simulation device |
| PCT/EP2023/066816 WO2023247632A1 (en) | 2022-06-24 | 2023-06-21 | Method for simulating a space as a virtual reality by means of a simulation device, computer program product, computer-readable storage medium and simulation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022206395.3A DE102022206395A1 (en) | 2022-06-24 | 2022-06-24 | Method for simulating a room as a virtual reality using a simulation device, computer program product, computer-readable storage medium and simulation device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102022206395A1 true DE102022206395A1 (en) | 2024-01-04 |
Family
ID=87158478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102022206395.3A Pending DE102022206395A1 (en) | 2022-06-24 | 2022-06-24 | Method for simulating a room as a virtual reality using a simulation device, computer program product, computer-readable storage medium and simulation device |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102022206395A1 (en) |
| WO (1) | WO2023247632A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2937815A2 (en) | 2014-04-25 | 2015-10-28 | Google, Inc. | Methods and systems for object detection using laser point clouds |
| EP3534240A1 (en) | 2018-03-01 | 2019-09-04 | CMORE Automotive GmbH | Method and device for data annotation |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10665019B2 (en) * | 2016-03-24 | 2020-05-26 | Qualcomm Incorporated | Spatial relationships for integration of visual images of physical environment into virtual reality |
| US10754443B2 (en) * | 2017-11-13 | 2020-08-25 | Arkio Ehf. | Virtual/augmented reality modeling application for architecture |
| CN109087345A (en) * | 2018-09-06 | 2018-12-25 | 上海仙知机器人科技有限公司 | Pallet recognition methods and automated guided vehicle based on ToF imaging system |
| DE102018218611B4 (en) * | 2018-10-31 | 2022-02-10 | Audi Ag | Method and computing device for generating a three-dimensional CAD model |
-
2022
- 2022-06-24 DE DE102022206395.3A patent/DE102022206395A1/en active Pending
-
2023
- 2023-06-21 WO PCT/EP2023/066816 patent/WO2023247632A1/en unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2937815A2 (en) | 2014-04-25 | 2015-10-28 | Google, Inc. | Methods and systems for object detection using laser point clouds |
| EP3534240A1 (en) | 2018-03-01 | 2019-09-04 | CMORE Automotive GmbH | Method and device for data annotation |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023247632A1 (en) | 2023-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69725346T2 (en) | DEVICE AND METHOD FOR PRODUCING A SHEET BENDING MODEL | |
| EP2144036B1 (en) | Method and device for 3D digitalisation of an object | |
| DE102018203250A1 (en) | Robot setting device, robot setting method, robot setting program, computer readable recording medium, and device storage program | |
| DE69830767T2 (en) | Method and apparatus for assembling layered synthetic graphic filters | |
| DE112019000687T5 (en) | PHOTOREALISTIC THREE-DIMENSIONAL TEXTURING USING CANONICAL VIEWS AND A TWO-STAGE APPROACH | |
| DE102017007967A1 (en) | Process and render a three-dimensional model | |
| DE102013217354B4 (en) | EDGE MEASUREMENT VIDEO TOOL AND INTERFACE WITH AUTOMATIC PARAMETER ALTERNATIVES | |
| DE102018207414A1 (en) | Image processing system | |
| DE102018001136A1 (en) | Interactive color palette interface for digital painting | |
| DE10043460A1 (en) | Locating parts of the body by evaluating edge direction information | |
| DE102019005517A1 (en) | Automatic and interactive animation driven by change-based heuristics | |
| DE112007001789T5 (en) | Determination and use of a dominant line of an image | |
| DE102017116853A1 (en) | System and method for automatically selecting 3D alignment algorithms in a vision system | |
| DE102013215301A1 (en) | System, method and computer program product for extruding a model through a two-dimensional scene | |
| DE112020005584T5 (en) | Occlusion-aware interior scene analysis | |
| DE19817584A1 (en) | Object search method for three dimensional computer graphic image processing | |
| DE202017007534U1 (en) | Multiscale 3D texture synthesis | |
| DE112020005732T5 (en) | GENERATION OF TRAINING DATA FOR OBJECT RECOGNITION | |
| DE102022112888A1 (en) | User interfaces and methods for creating a new artifact based on existing artifacts | |
| DE102017219244B4 (en) | INSPECTION CONDITIONING DEVICE, INSPECTION CONDITIONING PROCEDURE AND INSPECTION CONDITIONING PROGRAM | |
| DE102022206395A1 (en) | Method for simulating a room as a virtual reality using a simulation device, computer program product, computer-readable storage medium and simulation device | |
| DE102018218611B4 (en) | Method and computing device for generating a three-dimensional CAD model | |
| DE19817583B4 (en) | Method and system for data processing for three-dimensional objects | |
| DE19704529A1 (en) | Method for automatically creating and handling a shadow geometry and interactive computer-aided display device | |
| DE112017008230T5 (en) | METHOD AND APPARATUS FOR MAPPING A VIRTUAL ENVIRONMENT TO A PHYSICAL ENVIRONMENT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed |