-
Die Erfindung betrifft ein System zur Darstellung von digitalen Zwillingen von Kunstwerken der bildenden Kunst in einer durch digitale Inhalte erweiterten Realität.
-
Die Malerei ist ein dreidimensionales Verfahren. Dabei werden auf einen Bildträger bzw. eine Leinwand mehrere Farbschichten aufgetragen, die dann ein dreidimensionales (3D) Gebilde erzeugen. Die dritte Dimension ist somit bereits Teil der Malerei und deren 3D-Wiedergabe wünschenswert. Die dritte Dimension ist bisher nicht oder nur durch sehr genaues Hinschauen bzw. durch Ertasten und somit nur sehr eingeschränkt wahrnehmbar. Im Wesentlichen befindet sich die Malerei in einem zweidimensionalen (2D) Bezugssystem.
-
Aus dem Stand der Technik ist bereits bekannt, die Bewegungen einzelner Objekte im Bild von 2D-Malereien oder 3D-Meshes von Skulpturen mittels Virtual Reality (VR) und Augmented Reality (AR)-Anwendungen darstellen.
-
Während VR-Anwendungen sich auf eine Animation in einer virtuellen Realität beziehen, wird bei AR-Anwendungen die reale Welt mit virtuellen Informationen oder Objekten wie computergestützten und -erzeugten Modellen überlagert. Diese sogenannte erweiterte Realität wird in einer Anzeigeeinheit eines Endgeräts dargestellt.
-
Einschränkend an den oben genannten bisherigen Umsetzungen ist, dass die Anwendungen insbesondere eigens für diese Malereien bzw. Skulpturen geschaffen werden müssen und somit nicht auf weitere Kunstwerke angewendet werden können.
-
Aufgabe der Erfindung ist es, ein System zu schaffen, das analoge Kunstwerke in den virtuellen Raum überführt und für einen Betrachteter im dreidimensionalen Raum erlebbar macht und dabei eine hohe Flexibilität und Modularität in der Anwendung aufweist.
-
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch ein System mit den Merkmalen des Anspruchs 1. Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen und der nachfolgenden Beschreibung angegeben, die jeweils einzeln oder in Kombination einen Aspekt der Erfindung darstellen können.
-
Erfindungsgemäß umfasst das System eine Kamera und zumindest eine Steuer- und Anzeigeeinheit. Das System ist dabei eingerichtet, ein Kunstwerk der bildenden Künste mit Hilfe der Steuer- und Anzeigeeinheit durch einen Trackingalgorithmus zu erfassen und einen digitalen Zwilling des Kunstwerks an einer definierten Position in einer erweiterten Realitätsumgebung in der Anzeigeeinheit darzustellen, wobei der digitale Zwilling durch eine Punktwolke als eine dreidimensionale Darstellung des Kunstwerks gebildet ist.
-
Auf diese Weise erfolgt eine Umwandlung der Malerei von einer 2D- in eine 3D-Wahrnehmung. Die Malerei kann von allen Seiten betrachtet und erlebt werden. Durch den digitalen Zwilling in Form der digitalen Punktwolke wird für den Betrachter eine einzigartige und bislang für unmöglich erachtete Sichtweise für, von und in die Malerei ermöglicht.
-
Der Trackingalgorithmus kann bevorzugt direkt das zu erfassende Kunstwerk verarbeiten. Es ist allerdings auch möglich, das Kunstwerk über eine separate Markierung neben dem Kunstwerk, beispielsweise über einen QR-Code zu erfassen.
-
In dem System bzw. der Systemumgebung ist bevorzugt eine Datenbank von Kunstwerken vorgesehen, für die ein Pendant als dreidimensionaler digitaler Zwilling vorliegt. Der Trackingalgorithmus kann dabei das erfasste Kunstwerk anhand der Datenbank leicht abgleichen. Bei der Erfassung des Kunstwerks ohne die Verwendung einer separaten Markierung kann das Kunstwerk anhand seiner Key-Features, also markanter Bereiche identifiziert werden.
-
Bevorzugt ist jedem Pixel der digitalen Punktwolke neben einer x- und y- Koordinate ein z-Wert als Höhenwert und zumindest ein Farbwert zugeordnet, wobei der Farbwert bevorzugt dem Farbwert des Kunstwerks an dieser Stelle entspricht.
-
In einer besonders bevorzugten Ausführungsform ist der digitale Zwilling gegenüber dem Kunstwerk in der Größe verändert, wobei der digitale Zwilling in z-Richtung überproportional vergrößert ist.
-
In einer bevorzugten Ausführungsform ist die z-Koordinate jedes Pixels der Punktwolke des digitalen Zwillings über ein Luminanzsignal des Farbwertes des Pixels berechnet.
-
Auf diese Weise ist es möglich eine virtuelle Höhenkontur anhand der Helligkeitswerte der Pixel im digitalen Zwilling zu generieren, die nicht der Höhenkontur des Kunstwerks entspricht. So kann beispielsweise auch ein digitaler dreidimensionaler Zwilling von 2D-Kunstwerken generiert werden.
-
Bevorzugt bilden die z-Koordinaten der Punktwolke die über eine Verstärkungsfunktion vergrößerte Höhenkontur des Gemäldes ab.
-
Dabei ist der digitale Zwilling in z-Richtung gegenüber einer z-Dimension des Gemäldes derart vergrößert, dass die einzelnen Schichten des Gemäldes wahrnehmbar sind.
-
Die (x, y)-Dimension des digitalen Zwillings ist bevorzugt gegenüber der (x, y)-Dimension des im Wesentlichen zweidimensionalen Kunstwerks durch einen Skalierungsfaktor verändert, insbesondere vergrößert.
-
In einer bevorzugten Ausgestaltung ist die z-Dimension des digitalen Zwillings gegenüber der z-Dimension des Kunstwerks überproportional zum Skalierungsfaktor der (x,y)-Dimensionen vergrößert. Die z-Dimension des digitalen Zwillings beträgt bevorzugt zumindest 5 cm, besonders bevorzugt 10 cm und insbesondere zumindest 20 cm.
-
Bevorzugt ist der digitale Zwilling in definierter Größe im System bzw. der Systemumgebung gespeichert, so dass die in der erweiterten Realität in der Anzeigeeinheit dargestellte Größe des digitalen Zwillings unabhängig von der Größe des erfassten Kunstwerks ist. Hierdurch ist es auch möglich das System bei, insbesondere verkleinerten, Kopien des Kunstwerks und auch an Orten außerhalb einer Ausstellung anzuwenden.
-
Das System umfasst bevorzugt ein mobiles Endgerät. Die Steurer- und Anzeigeeinheit und/oder die Kamera sind in vorteilhafterweise im mobilen Endgerät integriert. Das mobile Endgerät kann beispielsweise ein Smartphone oder ein Tablet sein. Auch kann das mobile Endgerät als AR-Brille ausgestaltet sein.
-
In einer bevorzugten Ausführungsform ist das System ferner eingerichtet Punktwolken eines zweidimensionalen oder im Wesentlichen zweidimensionalen Kunstwerks, insbesondere eines Gemäldes zu erzeugen, wobei das Kunstwerk zunächst digital in einer definierten Auflösung eingelesen und die Bildinformationen erfasst werden. Die Bildinformationen umfassen zumindest einen Farbwert an jeder (x,y)-Position des Kunstwerks. Hierfür kann das System eine weitere Kamera aufweisen oder die bereits beschriebene Kamera verwendet werden.
-
Die jeweilige z-Koordinate als Höheninformation kann für jedes Pixel der Punktwolke über ein Luminanzsignal aus den anteilig gewichteten RGB-Farbwerten rot(r), grün(g) und blau (b), des Pixels errechnet werden.
-
Bevorzugt umfasst das System im Falle eines zu erfassenden Gemäldes ein Mittel zur Höhenkonturerfassung, insbesondere einen Laserscanner, des im Wesentlichen zweidimensionalen Kunstwerks. Die so erfasste Höheninformation kann jedem Pixel als z-Wert zugeordnet werden.
-
Gerade die Nutzung von modernen Laserscannern ermöglicht die Aufnahme hochaufgelöster Punktwolken. Punktwolken beschreiben einzelne Punkte, die in einem Haufen zusammengefasst sind und einen dreidimensionalen Raum in der digitalen Welt abbilden.
-
Die z-Werte der Höheninformationen werden wie weiter oben beschrieben überproportional skaliert.
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele anhand der Zeichnungen.
-
In den Zeichnungen zeigt:
- 1 eine erste Ausführungsform des Systems in Anwendung,
- 2(a) eine beispielhafte Ausführung des Trackingalgorithmus bei einem Gemälde,
- 2(b) das Gemälde und seinen digitalen Zwilling auf dem Bildschirm eines mobilen Endgeräts in einer erweiterten Realität.
-
Die 1 zeigt eine schematische Darstellung des Systems in einer bestimmungsgemäßen Anwendung. Ein Benutzer 1 interagiert mit einem durch ein Smartphone 2 gebildetes mobiles Endgerät. Das mobile Endgerät weist eine Kamera (nicht dargestellt) und eine durch einen Bildschirm gebildete Anzeigeeinheit auf.
-
Der Benutzer startet eine Applikation, die sich nach einer erfolgreichen Berechtigungsabfrage mit der Kamera des Endgeräts verbindet, um den weiteren Prozess zu gewährleisten.
-
Bei dieser Applikation erscheinen keinerlei App-Symbole. Zudem ist keine Benachrichtigung und ebenso ist keine Navigation notwendig, um eine intuitive User Experience zu gewährleisten. Beim Nutzungsvorgang der Applikation sieht der Benutzer mittels der Kamera den vor ihm liegenden Raum in dem sich dieser befindet, auf dem Bildschirm des mobilen Endgeräts. Sobald die Kamerafunktion der Applikation ein einer Datenbank 3 vorhandenes Gemälde 4, welches sich im analogen Raum befindet, erfasst, erscheint unmittelbar ein digitaler Zwilling 5 des Gemäldes als Punktwolke.
-
Die Applikation ist in der Lage, sowohl das Original des Kunstwerks wie auch eine Print- oder eine digitale Version, die auf einem anderen Bildschirm zu sehen ist, zu erkennen und den besagten digitalen Zwilling 5 zu generieren. Dabei ist die Größe der jeweiligen Abbildung des Kunstwerks nicht relevant.
-
Der digitale Zwilling 5 erscheint dann als Punktwolke auf dem mobilen Endgerät des Benutzers an definierter Position freischwebend in einer AR-Umgebung auf dem Smartphone. im selben Raum in dem der Benutzer und das erfasste Kunstwerk sich befinden. Der Benutzer 1 macht die Erfahrung, dass der freischwebende digitale Zwilling 5 lediglich in die Raumdarstellung auf seinem mobilen Endgerät transferiert wurde und beginnt sich intuitiv dem digitalen Zwilling 5 zu nähern, ohne dass dieser in der analogen Räumlichkeit sichtbar ist.
-
Da es sich bei der digitalen Darstellung des Kunstwerks auf dem Endgerät von dem Benutzer 1 um eine dreidimensionale Punktwolke handelt, wird der Benutzer 1 automatisch aktiv und erfährt, dass der Benutzer 1 mit dem mobilen Endgerät die unbewegliche und im Raum schwebende digitale Entsprechung passieren kann.
-
Eine weitere Besonderheit erfährt der Benutzer 1 hinsichtlich der Rückseite des digitalen Zwillings. Die Applikation ist in der Lage, die dreidimensionale Form des Kunstwerks spiegelverkehrt und farbgetreu darzubieten, was vom ursprünglichen Kunstwerk aufgrund seiner physikalischen Eigenschaften nicht erzeugt werden kann. Dementsprechend ist eine Ansicht des Kunstwerks von hinten durch die digitale Entsprechung möglich. Der Benutzer kann auf diese Weise durch die Nutzung der Applikation mittels des mobilen Endgeräts von Kunstwerk zu Kunstwerk wechseln und stets diese Erfahrung machen, wodurch seine Aktivität im Umgang mit dem digitalen Zwilling erweitert wird.
-
Die 2(a) zeigt einen Ausschnitt des umgesetzten Trackingalgorithmus durch Nutzung von Key-Features zur Identifizierung einer Malerei bzw. eines Gemäldes. Das Gemälde wird durch die Kamerafunktion gescannt und dessen Key-Features 7 zur Identifizierung mit Bildern einer Bilddatenbank 3 wie zuvor erläutert abgeglichen.
-
Die 2(b) zeigt das Gemälde 4 und seinen digitalen Zwilling 5 auf dem Bildschirm des mobilen Endgeräts in einer erweiterten Realität 6. Der digitale Zwilling 5 scheint im Raum zu schweben, da die Umgebung in der sich der Benutzer befindet, weiterhin durch die Kamerafunktion erfasst wird. Mithilfe von Screenshots lassen sich dabei beeindruckende Bildkomposition erstellen.
-
Bezugszeichenliste
-
- 1
- Benutzer
- 2
- Smartphone
- 3
- Datenbank
- 4
- Gemälde
- 5
- Digitaler Zwilling des Gemäldes
- 6
- AR-Umgebung in Smartphone-Bildschirm
- 7
- Key-Features des Gemäldes
