DE102021210378A1

DE102021210378A1 - Kalibrierungsverfahren

Info

Publication number: DE102021210378A1
Application number: DE102021210378.2A
Authority: DE
Inventors: Istvan Szell; Arash Eftekhar
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-09-20
Filing date: 2021-09-20
Publication date: 2023-03-23

Abstract

Die Erfindung geht aus von einem Kalibrierungsverfahren (10), bei dem in zumindest einem Verfahrensschritt (16) eine Position eines handgehaltenen Geräts (18), welches insbesondere zu einem definierten Farbauftrag auf eine Oberfläche (36) vorgesehen ist, in Echtzeit bestimmt wird, wobei das Gerät (18) mittels einer inertialen Messeinheit des Geräts (18) und mittels einer Kamera einer Bilderfassungsvorrichtung (20) überwacht wird, wobei zu einer Vorhersage einer Position des Geräts (18) optische Positionsdaten, die von der Bilderfassungsvorrichtung (20) ermittelt werden, und Bewegungsdaten, die von der inertialen Messeinheit ermittelt werden, kombiniert ausgewertet werden.Es wird vorgeschlagen, dass das Gerät (18) zumindest ein Leuchtmittel (92) aufweist, welches eine definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer emittiert, wobei die Bilderfassungsvorrichtung (20) die von dem Leuchtmittel (92) emittierten Farbzustände erfasst und auswertet.

Description

Stand der Technik
Es ist bereits ein Kalibrierungsverfahren vorgeschlagen worden, bei dem in zumindest einem Verfahrensschritt eine Position eines handgehaltenen Geräts, welches insbesondere zu einem definierten Farbauftrag auf eine Oberfläche vorgesehen ist, in Echtzeit bestimmt wird, wobei das Gerät mittels einer inertialen Messeinheit des Geräts und mittels einer Kamera einer Bilderfassungsvorrichtung überwacht wird, wobei zu einer Vorhersage einer Position des Geräts optische Positionsdaten, die von der Bilderfassungsvorrichtung ermittelt werden, und Bewegungsdaten, die von der inertialen Messeinheit ermittelt werden, kombiniert ausgewertet werden.
Des Weiteren ist bereits ein Kalibrierungsverfahren zu einer Kalibrierung einer Bilderfassungsvorrichtung vorgeschlagen worden, wobei in zumindest einem Verfahrensschritt in Abhängigkeit von einem durch die Bilderfassungsvorrichtung erfassten Kalibrierungsobjekt eine Belichtungsdauer oder eine Belichtungsstärke der Bilderfassungsvorrichtung ermittelt wird.
Ferner ist bereits ein Kalibrierungsverfahren für eine Bilderfassungsvorrichtung vorgeschlagen worden, wobei in zumindest einem Verfahrensschritt eine von einer Kamera der Bilderfassungsvorrichtung zu erfassende Oberfläche mit physischen Referenzmarkern markiert wird, wobei mittels der Kamera ein digitales Bild der zu erfassenden Oberfläche erstellt wird, wobei anhand der Referenzmarker mittels der Bilderfassungsvorrichtung ein virtuelles Gitter erzeugt wird, welches sich an den Referenzmarkern orientiert, wobei Pixel des erstellten Bildes Gitterelementen des Gitters zugeordnet werden, wobei die Gitterelemente alle ein gleiches tatsächliches Format aufweisen.
Offenbarung der Erfindung
Die Erfindung geht aus von einem Kalibrierungsverfahren, bei dem in zumindest einem Verfahrensschritt eine Position eines handgehaltenen Geräts, welches insbesondere zu einem definierten Farbauftrag auf eine Oberfläche vorgesehen ist, in Echtzeit bestimmt wird, wobei das Gerät mittels einer inertialen Messeinheit des Geräts und mittels einer Kamera einer Bilderfassungsvorrichtung überwacht wird, wobei zu einer Vorhersage einer Position des Geräts optische Positionsdaten, die von der Bilderfassungsvorrichtung ermittelt werden, und Bewegungsdaten, die von der inertialen Messeinheit ermittelt werden, kombiniert ausgewertet werden.
Es wird vorgeschlagen, dass das Gerät zumindest ein Leuchtmittel aufweist, welches eine definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer emittiert, wobei die Bilderfassungsvorrichtung die von dem Leuchtmittel emittierten Farbzustände erfasst und auswertet. Durch die erfindungsgemäße Ausgestaltung kann eine vorteilhaft präzise Positionsbestimmung in Echtzeit erreicht werden. Des Weiteren kann durch die erfindungsgemäße Ausgestaltung eine vorteilhaft einfache Synchronisierung der Bilderfassungsvorrichtung und des handgehaltenen Geräts erreicht werden. Dadurch kann der definierte Farbauftrag auf die Oberfläche besonders präzise erfolgen. Dadurch wird eine vorteilhaft hohe Qualität des Farbauftrags auf der Oberfläche erzielt.
Vorzugsweise ist die Bilderfassungsvorrichtung als ein mobiles, persönliches elektronisches Gerät ausgebildet. Besonders bevorzugt ist die Bilderfassungsvorrichtung als ein Smartphone oder als ein Tablet-PC ausgebildet. Vorzugsweise weist die Bilderfassungsvorrichtung eine Kamera auf. Vorzugsweise ist die Bilderfassungsvorrichtung zu einer, insbesondere dynamischen, Bildverarbeitung vorgesehen. Vorzugsweise ist die Bilderfassungsvorrichtung zur Aufnahme eines digitalen Bildes einer zu erfassenden Oberfläche, insbesondere einer Motivvorlage auf der zu erfassenden Oberfläche, vorgesehen. Vorzugsweise ist die Bilderfassungsvorrichtung dazu vorgesehen, eine Position eines, insbesondere handgehaltenen, Geräts, insbesondere relativ zu der Oberfläche und/oder der Motivvorlage zu erfassen, um das Gerät bezüglich einer realen Position des Geräts zu kalibrieren. Vorzugsweise wird die Bilderfassungsvorrichtung anhand eines Kalibrierungsobjekts kalibriert, bevor ein digitales Bild der zu erfassenden Oberfläche aufgenommen wird. Vorzugsweise wird die Bilderfassungsvorrichtung kalibriert, um die durch die Bilderfassungsvorrichtung zu erfassende Oberfläche, insbesondere die Motivvorlage auf der zu erfassenden Oberfläche, korrekt belichtet erfassen zu können. Vorzugsweise wird eine Belichtungseinstellung der Kamera, insbesondere die Belichtungsdauer und/oder die Belichtungsstärke, mittels des Kalibrierungsverfahrens angepasst, um die zu erfassende Oberfläche, insbesondere die Motivvorlage auf der zu erfassenden Oberfläche, mittels der Kamera zu erfassen und eine Bildverarbeitung durchführen zu können. Vorzugsweise ist die Bilderfassungsvorrichtung dazu vorgesehen, eine Perspektivkorrektur einer in dem aufgenommenen Bild vorhandenen Verzerrung eines Abbilds der zu erfassenden Oberfläche, insbesondere der Motivvorlage, durchzuführen, um die Bilderfassungsvorrichtung bezüglich einer realen Position der Motivvorlage auf der Oberfläche zu kalibrieren.
Vorzugsweise ist das Gerät als eine Medienauftragsvorrichtung, insbesondere Farbauftragsvorrichtung, ausgebildet. Vorzugsweise bedruckt das Gerät die Oberfläche abhängig von Druckdaten. Vorzugsweise weist das Gerät eine Farbsprüheinheit auf, die dazu vorgesehen ist, Farbe definiert auf die Oberfläche aufzutragen. Vorzugsweise weist das Gerät bei einer Bewegung über die Oberfläche einen zumindest im Wesentlichen konstanten Abstand zu der Oberfläche auf. Vorzugsweise weist die inertiale Messeinheit zumindest einen Beschleunigungssensor und zumindest ein Gyroskop auf. Vorzugsweise ist das Leuchtmittel als eine LED ausgebildet.
Vorzugsweise kodiert die definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer einen Zeitstempel des Geräts. Vorzugsweise wird mittels der definierten Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer ein Zeitstempel des Geräts optisch ausgesendet. Vorzugsweise beträgt die Zeitdauer 200 ms. Grundsätzlich kann die Zeitdauer aber auch eine davon, dem Fachmann für geeignet erscheinende abweichende Zeit betragen. Vorzugsweise ist die Zeitdauer bei allen Farbzuständen gleich lang. Alternativ wäre es denkbar, dass sich die definierten Zeitdauern, in der die Farbzustände emittiert werden, bei den unterschiedlichen Farbzuständen voneinander unterscheiden.
Vorzugsweise ist die Bilderfassungsvorrichtung stationär positioniert, insbesondere relativ zu der Oberfläche. Vorzugsweise kann die Bilderfassungsvorrichtung auf einer Aufständereinheit, insbesondere einem Stativ, stationär zu der Oberfläche positioniert werden.
Vorzugsweise erfasst die Bildererfassungsvorrichtung die aktuelle Position des Geräts. Vorzugsweise wird mittels zumindest eines Sensormittels der Bilderfassungsvorrichtung, insbesondere der Kamera der Bilderfassungsvorrichtung, die aktuelle Position des Geräts bestimmt. Vorzugsweise wird die Position des Geräts relativ zu einem virtuellen Gitter bestimmt. Vorzugsweise wird das virtuelle Gitter von der Bilderfassungsvorrichtung erzeugt. Vorzugsweise gibt das virtuelle Gitter ein gedachtes Raster auf der Oberfläche wieder. Vorzugsweise orientieren sich die optischen Positionsdaten an dem virtuellen Gitter. Vorzugsweise geben die optischen Positionsdaten die Position des Geräts relativ zu dem virtuellen Gitter an. Vorzugsweise geben die optischen Positionsdaten die Position des Geräts auf der Oberfläche an.
Vorzugsweise erfasst die Bilderfassungsvorrichtung eine Farbe der Farbzustände und die Zeitdauer, für die die Farbzustände emittiert werden. Vorzugsweise dekodiert die Bilderfassungsvorrichtung die emittierte Abfolge abwechselnder Farbzustände und ermittelt den Zeitstempel des Geräts.
Des Weiteren wird vorgeschlagen, dass vor einer Vorhersage einer Position des Geräts der Zeitstempel des Geräts und ein Zeitstempel der Bilderfassungsvorrichtung synchronisiert werden. Durch diese Ausgestaltung können die Bilderfassungsvorrichtung und das Gerät vorteilhaft einfach und schnell synchronisiert werden. Dadurch kann die Vorhersage der Position des Geräts vorteilhaft präzise erfolgen. Vorzugsweise ist der Zeitstempel des Geräts als primärer Zeitstempel ausgebildet. Vorzugsweise wird der Zeitstempel der Bilderfassungsvorrichtung an den Zeitstempel des Geräts angepasst, insbesondere durch diesen überschrieben.
Ferner wird vorgeschlagen, dass ein Zeitstempel des Geräts in Abhängigkeit einer Bildfrequenz der Kamera der Bilderfassungsvorrichtung ermittelt wird. Durch diese Ausgestaltung kann die definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer vorteilhaft sicher erfasst und ausgewertet werden. Vorzugsweise wird die definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer genauer erfasst, je größer die Bildfrequenz der Kamera ist.
Zudem wird vorgeschlagen, dass die Vorhersage mittels eines erweiterten Kalman-Filters bestimmt wird, welcher die Bewegungsdaten und die optischen Positionsdaten verwendet. Durch diese Ausgestaltung können zur Vorhersage der Position des Geräts optische Positionsdaten und Bewegungsdaten besonders vorteilhaft kombiniert ausgewertet werden. Dadurch kann die Position des Geräts vorteilhaft präzise vorhergesagt bzw. bestimmt werden. Vorzugsweise werden die Bewegungsdaten und die optischen Positionsdaten mittels des erweiterten Kalman-Filters miteinander fusioniert.
Des Weiteren wird vorgeschlagen, dass optische Positionsdaten von der Bilderfassungsvorrichtung, insbesondere drahtlos, an das Gerät übermittelt werden. Durch diese Ausgestaltung kann eine vorteilhaft einfache Übertragung der optischen Positionsdaten erreicht werden. Dadurch kann ein vorteilhaft nutzerfreundliches System aus dem Gerät und der Bilderfassungsvorrichtung bereitgestellt werden. Vorzugsweise werden die optischen Positionsdaten mittels Bluetooth, insbesondere Bluetooth Low Energy, an das Gerät übermittelt.
Ferner wird vorgeschlagen, dass eine, insbesondere drahtlose, Übertragung der optischen Positionsdaten an das Gerät alle 20 ms erfolgt, wobei eine Vorhersage einer Position des Geräts alle 2,5 ms berechnet wird. Durch diese Ausgestaltung kann eine vorteilhaft präzise Bestimmung der Position des Geräts in Echtzeit erfolgen. Vorzugsweise wird eine Iteration zur Berechnung der Vorhersage alle 2,5 ms durchgeführt.
Zudem wird vorgeschlagen, dass für jede Iteration zur Berechnung der Vorhersage geprüft wird, ob aktuelle optische Positionsdaten und aktuelle Bewegungsdaten vorliegen. Durch diese Ausgestaltung kann eine vorteilhaft sichere Vorhersage der Position des Geräts erreicht werden.
Des Weiteren wird vorgeschlagen, dass lediglich aktuelle Bewegungsdaten zur Vorhersage genutzt werden, wenn keine aktuellen optischen Positionsdaten in dem Gerät vorliegen. Durch diese Ausgestaltung kann die Vorhersage vorteilhaft dauerhaft durchgeführt werden. Des Weiteren kann durch diese Ausgestaltung erreicht werden, dass optische Positionsdaten in einer geringeren Frequenz übertragen werden können als eine Frequenz der Iterationen. Vorzugsweise werden für eine Iteration zur Berechnung der Vorhersage lediglich aktuelle Bewegungsdaten genutzt, wenn keine aktuellen optischen Positionsdaten in dem Gerät vorliegen.
Ferner wird vorgeschlagen, dass historische Informationen verwendet werden, um ein Abdriften des Geräts abzuschätzen und um zukünftige Vorhersagen bezüglich des Abdriftens des Geräts zu korrigieren. Durch diese Ausgestaltung kann eine vorteilhaft präzise Vorhersage der Position des Geräts erreicht werden. Unter einem „Abdriften“ kann verstanden werden, dass die Vorhersage der Position des Geräts von einer tatsächlichen Position des Geräts abweicht, insbesondere aufgrund von Messungenauigkeiten und/oder von Berechnungsungenauigkeiten. Vorzugsweise sind optische Positionsdaten und/oder Bewegungsdaten, die keinen aktuellen Zeitstempel aufweisen, als historische Informationen ausgebildet. Vorzugsweise werden bereits verarbeitete Daten, insbesondere optische Positionsdaten und/oder Bewegungsdaten, in dem Gerät gespeichert und insbesondere nicht gelöscht.
Zudem wird vorgeschlagen, dass die optischen Positionsdaten für ein Datenupdate herangezogen werden, wobei die optischen Positionsdaten mit einem nächstliegenden Zeitstempel zu den Bewegungsdaten genutzt werden. Durch diese Ausgestaltung kann eine vorteilhaft präzise Vorhersage der Position des Geräts erreicht werden, auch wenn keine aktuellen optischen Positionsdaten vorliegen. Des Weiteren kann durch diese Ausgestaltung ein Abdriften des Geräts vorteilhaft korrigiert werden. Vorzugsweise werden die optischen Positionsdaten regelmäßig, insbesondere alle 20 ms, zum Datenupdate herangezogen. Vorzugsweise erfolgt dadurch eine Aktualisierung einer mittels der Bewegungsdaten alle 2,5 ms vorhergesagten Position des Geräts.
Des Weiteren geht die Erfindung aus von einem Kalibrierungsverfahren zu einer Kalibrierung einer Bilderfassungsvorrichtung, wobei in zumindest einem Verfahrensschritt in Abhängigkeit von einem durch die Bilderfassungsvorrichtung erfassten Kalibrierungsobjekt eine Belichtungsdauer und/oder eine Belichtungsstärke der Bilderfassungsvorrichtung ermittelt werden/wird.
Es wird vorgeschlagen, dass das Kalibrierungsobjekt ein Leuchtmittel aufweist, welches dazu vorgesehen ist, unterschiedliche Farbzustände anzunehmen, wobei die Bilderfassungsvorrichtung das Kalibrierungsobjekt in verschiedenen Kalibrierungssequenzen in den unterschiedlichen Farbzuständen des Kalibrierungsobjekts zur Ermittlung der Belichtungsdauer und/oder der Belichtungsstärke erfasst. Durch die erfindungsgemäße Ausgestaltung kann die Bilderfassungsvorrichtung besonders vorteilhaft kalibriert werden. Durch die erfindungsgemäße Ausgestaltung kann eine besonders vorteilhafte Belichtungseinstellung der Bilderfassungsvorrichtung für eine Aufnahme eines digitalen Bildes ermittelt werden. Dadurch kann eine Bildverarbeitung, insbesondere eine Weiterverarbeitung eines digitalen Bildes, welches mittels der Bilderfassungsvorrichtung erstellt wird, vorteilhaft einfach und zuverlässig erfolgen.
Vorzugsweise weist das Leuchtmittel eine LED auf. Vorzugsweise emittiert das Leuchtmittel farbiges Licht entsprechend eines jeweiligen Farbzustandes der verschiedenen Farbzustände.
Vorzugsweise weist die Kamera einen optoelektronischen Bildsensor auf. Bevorzugt wird der Bildsensor dauerhaft, insbesondere ohne einen mechanischen Verschluss, belichtet. Vorzugsweise wird der Bildsensor zur Aufnahme eines digitalen Bildes in einem definierten Zeitraum, insbesondere der Belichtungsdauer, belichtet. Alternativ könnte die Belichtungsdauer als eine Verschlusszeit der Kamera ausgebildet sein. Vorzugsweise ist die Belichtungsstärke als eine Lichtempfindlichkeit des Bildsensors, insbesondere als ein ISO-Wert, ausgebildet.
Vorzugsweise wird das Kalibrierungsobjekt in einem Sichtfeld der Kamera positioniert. Vorzugsweise wird das Kalibrierungsobjekt von der Bilderfassungsvorrichtung erkannt. Vorzugsweise wird das Kalibrierungsobjekt von der Bilderfassungsvorrichtung zur Ausführung der Kalibrierungssequenzen in einer Erfassungsphase des Kalibrierungsverfahrens erfasst. Vorzugsweise erfasst die Bilderfassungsvorrichtung das Kalibrierungsobjekt in jeder Kalibrierungssequenz der verschiedenen Kalibrierungssequenzen in je einem der unterschiedlichen Farbzustände des Kalibrierungsobjekts. Vorzugsweise wird in jeder Kalibrierungssequenz der verschiedenen Kalibrierungssequenzen ein Wertebereich für eine Belichtungsdauer und/oder eine Belichtungsstärke ermittelt, in dem ein Abbild des Kalibrierungsobjekts zumindest eine definierte Helligkeitsbedingung erfüllt. Vorzugsweise ist das Kalibrierungsobjekt, insbesondere eine Außenkontur des Kalibrierungsobjekts, unter der zumindest einen definierten Helligkeitsbedingung von einem Hintergrund und/oder einer Umgebung des Kalibrierungsobjekts unterscheidbar. Vorzugsweise wird anhand zumindest eines vorgegebenen Zufriedenheitsfaktors ermittelt, bei welchen Helligkeitswerten das Kalibrierungsobjekt in dem Wertebereich liegt.
Vorzugsweise folgt auf die Erfassungsphase eine Berechnungsphase, bei der ein Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke der Bilderfassungsvorrichtung ermittelt wird. Vorzugsweise wird der Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke der Bilderfassungsvorrichtung aus den ermittelten Wertebereichen für die Belichtungsdauer und/oder die Belichtungsstärke aus allen Kalibrierungssequenzen berechnet.
Vorzugsweise wird die Bilderfassungsvorrichtung auf die ermittelte Belichtungsdauer und/oder die ermittelte Belichtungsstärke eingestellt. Vorzugsweise wird die Bilderfassungsvorrichtung auf den berechneten Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke eingestellt. Vorzugsweise wird die ermittelte Belichtungsdauer und/oder die ermittelte Belichtungsstärke, insbesondere der Optimalwert, in der Kamera voreingestellt. Vorzugsweise wird die Bilderfassungsvorrichtung bei jeder Veränderung einer Umgebungshelligkeit erneut kalibriert, wobei die Bilderfassungsvorrichtung das Kalibrierungsobjekt in den verschiedenen Kalibrierungssequenzen in den unterschiedlichen Farbzuständen des Kalibrierungsobjekts zur Ermittlung der Belichtungsdauer und/oder der Belichtungsstärke erneut erfasst.
Des Weiteren wird vorgeschlagen, dass die Bilderfassungsvorrichtung das Kalibrierungsobjekt an einer Form des Kalibrierungsobjekts erkennt. Durch diese Ausgestaltung kann das Kalibrierungsobjekt von der Bilderfassungsvorrichtung vorteilhaft schnell und zuverlässig erkannt werden. Dadurch kann ein vorteilhaft effizientes Kalibrierungsverfahren bereitgestellt werden. Vorzugsweise ist die Form des Kalibrierungsobjekts in der Bilderfassungsvorrichtung abgespeichert und/oder die Bilderfassungsvorrichtung hat die Form des Kalibrierungsobjekts erlernt. Vorzugsweise weist das Kalibrierungsobjekt zumindest eine Kreisform auf. Vorzugsweise ist das Leuchtmittel kreisförmig oder kugelförmig ausgebildet. Alternativ kann das Kalibrierungsobjekt zumindest eine andere, einem Fachmann für geeignet erscheinende Form aufweisen, mittels der das Kalibrierungsobjekt einfach und zuverlässig erkannt werden kann.
Ferner wird vorgeschlagen, dass das Kalibrierungsobjekt während der Erfassungsphase mehr als drei, insbesondere sechs, unterschiedliche Farbzustände, in welchen das Kalibrierungsobjekt jeweils eine Farbe annimmt, durchläuft. Durch diese Ausgestaltung kann die Ermittlung der Belichtungsdauer und/oder der Belichtungsstärke vorteilhaft zuverlässig erfolgen. Dadurch kann eine vorteilhaft zuverlässige Abbildung von unterschiedlich farbigen Motivvorlagen erreicht werden. Vorzugsweise ist die Farbe, die das Kalibrierungsobjekt in den unterschiedlichen Farbzuständen annimmt, jeweils blau, cyan, grün, gelb, rot oder magenta.
Zudem wird vorgeschlagen, dass während der Erfassungsphase ein Farbzustand des Kalibrierungsobjekts automatisch gewechselt wird. Durch diese Ausgestaltung kann eine vorteilhaft automatisierte und schnelle Kalibrierung der Bilderfassungsvorrichtung erfolgen. Vorzugsweise werden die Kalibrierungssequenzen automatisch aufeinanderfolgend ausgeführt. Vorzugsweise werden die Farbzustände in einer festgelegten Reihenfolge mit einer definierten Zeitdauer durchlaufen. Vorzugsweise sind der Bilderfassungsvorrichtung die Reihenfolge der Farbzustände und die Zeitdauer der einzelnen Farbzustände bekannt. Grundsätzlich wäre es auch denkbar, dass ein Farbzustand des Kalibrierungsobjekts manuell gewechselt wird, beispielsweise mittels einer Umschalttaste des Kalibrierungsobjekts.
Des Weiteren wird vorgeschlagen, dass die Bilderfassungsvorrichtung während jedes Farbzustands das Kalibrierungsobjekt mehrfach erfasst. Durch diese Ausgestaltung kann der Wertebereich für die Belichtungsdauer und/oder die Belichtungsstärke, insbesondere innerhalb einer Kalibrierungssequenz, vorteilhaft genau bestimmt werden.
Ferner wird vorgeschlagen, dass die Bilderfassungsvorrichtung während jedes Farbzustands des Kalibrierungsobjekts die Belichtungsdauer und/oder die Belichtungsstärke über die im Wesentlichen gesamte vorgesehene Wertespanne der Belichtungsdauer und/oder der Belichtungsstärke variiert, solange die Bilderfassungsvorrichtung das Kalibrierungsobjekt erkennt. Durch diese Ausgestaltung kann die Ermittlung der Belichtungsdauer und/oder der Belichtungsstärke vorteilhaft zuverlässig erfolgen. Des Weiteren kann durch diese Ausgestaltung eine vorteilhaft automatisierte und schnelle Kalibrierung der Bilderfassungsvorrichtung erfolgen. Vorzugsweise ist die Wertespanne durch minimal und maximal an der Bilderfassungsvorrichtung einstellbare Werte für die Belichtungsdauer und/oder die Belichtungsstärke definiert. Grundsätzlich ist es denkbar, dass die Bilderfassungsvorrichtung das Kalibrierungsobjekt bei minimalen und/oder maximalen Werten für die Belichtungsdauer und/oder die Belichtungsstärke zumindest teilweise nicht mehr erkennt, insbesondere wenn abhängig von der Umgebungshelligkeit Konturen, insbesondere Außenkonturen, des Kalibrierungsobjekts nicht mehr von einem Hintergrund und/oder einer Umgebung des Kalibrierungsobjekts unterscheidbar sind. Vorzugsweise wird das Kalibrierungsobjekt autark von der Bilderfassungsvorrichtung betrieben.
Zudem wird vorgeschlagen, dass das Kalibrierungsobjekt in den Farbzuständen Grundfarben basierend auf zumindest zwei verschiedenen Farbmodellen annimmt. Durch diese Ausgestaltung können vorteilhaft unterschiedliche Farben für das Kalibrierungsverfahren genutzt werden. Dadurch kann die Belichtungsdauer und/oder die Belichtungsstärke vorteilhaft zuverlässig für unterschiedlich farbige Motivvorlagen ermittelt werden.
Des Weiteren wird vorgeschlagen, dass eines der Farbmodelle das CMY-Farbmodell und ein weiteres der Farbmodelle das RGB-Farbmodell ist. Durch diese Ausgestaltung können vorteilhaft definierte Farbmodelle herangezogen werden.
Ferner wird vorgeschlagen, dass die Farbzustände in einer festgelegten Reihenfolge durchlaufen werden, wobei auf zumindest eine Grundfarbe eines ersten Farbmodells der zumindest zwei Farbmodelle eine Grundfarbe eines zweiten Farbmodells der zumindest zwei Farbmodelle folgt, welche einen geringsten spektralen Überlapp mit der Grundfarbe des ersten Farbmodells aufweist. Durch diese Ausgestaltung kann die Reihenfolge mit vorteilhaft optisch voneinander differierenden Farbzuständen durchlaufen werden. Dadurch kann eine vorteilhaft präzise Kalibrierung der Bilderfassungsvorrichtung ermöglicht werden. Vorzugsweise ist das erste Farbmodell der zumindest zwei Farbmodelle das CMY-Farbmodell oder das RGB-Farbmodell, wobei das zweite Farbmodell der zumindest zwei Farbmodelle entsprechend das CMY-Farbmodell oder RGB-Farbmodell ist, welches nicht das erste Farbmodell ist.
Zudem wird vorgeschlagen, dass zumindest eine Grundfarbe des ersten Farbmodells der zumindest zwei Farbmodelle eine Komplementärfarbe zu einer Grundfarbe des zweiten Farbmodells der zumindest zwei Farbmodelle ist. Durch diese Ausgestaltung können vorteilhaft optisch voneinander differierende Farbzustände erreicht werden. Dadurch kann eine vorteilhaft präzise Kalibrierung der Bilderfassungsvorrichtung ermöglicht werden.
Zudem geht die Erfindung aus von einem Kalibrierungsverfahren für eine Bilderfassungsvorrichtung, wobei in zumindest einem Verfahrensschritt eine von einer Kamera der Bilderfassungsvorrichtung zu erfassende Oberfläche mit physischen Referenzmarkern markiert wird, wobei mittels der Kamera ein digitales Bild der zu erfassenden Oberfläche erstellt wird, wobei anhand der Referenzmarker mittels der Bilderfassungsvorrichtung ein virtuelles Gitter erzeugt wird, welches sich an den Referenzmarkern orientiert, wobei Pixel des erstellten Bildes Gitterelementen des Gitters zugeordnet werden, wobei die Gitterelemente alle ein gleiches tatsächliches Format aufweisen.
Es wird vorgeschlagen, dass anhand der Referenzmarker eine Perspektivkorrektur einer in dem Bild vorhandenen Verzerrung eines Abbilds der zu erfassenden Oberfläche durchgeführt wird, wobei die Verzerrung durch einen Winkel zwischen der Oberfläche und einer Aufnahmeebene der Kamera bedingt ist, wobei das Gitter in Gittereinheiten unterteilt wird, die alle ein gleiches tatsächliches Format aufweisen und in denen jeweils eine gleiche Anzahl an Gitterelementen angeordnet ist, wobei eine tatsächliche Höhe und Breite der Gittereinheiten von den Referenzmarkern vorgegeben werden. Durch die erfindungsgemäße Ausgestaltung des Kalibrierungsverfahrens kann vorteilhaft eine Perspektivkorrektur durchgeführt werden. Durch die erfindungsgemäße Ausgestaltung kann insbesondere bei einer in dem Bild vorhandenen Verzerrung des Abbilds der zu erfassenden Oberfläche eine vorteilhafte Übertragung der Daten des digitalen Bildes auf eine reale Position auf der zu erfassenden Oberfläche geschaffen werden.
Vorzugsweise wird eine physische Position jedes Pixels des digitalen Bildes auf der Oberfläche anhand der Referenzmarker und anhand des virtuellen Gitters bestimmt. Dadurch kann eine vorteilhafte einfache Perspektivkorrektur durchgeführt werden. Vorzugsweise ist die zu erfassende Oberfläche in einer Ebene angeordnet. Vorzugsweise ist auf der zu erfassenden Oberfläche ein Objekt abgebildet. Vorzugsweise ist das Objekt als eine Motivvorlage ausgebildet, wobei die Motivvorlage nach einer Erfassung durch die Bilderfassungsvorrichtung mittels eines Medienauftrags, insbesondere Farbauftrags, auf die Oberfläche, insbesondere permanent, auf die Oberfläche aufgebracht und/oder in diese eingebracht werden kann.
Vorzugsweise werden die Referenzmarker auf der Oberfläche, insbesondere haftend, aber zerstörungsfrei lösbar, angeordnet. Vorzugsweise sind die Referenzmarker in einem Band angeordnet. Vorzugsweise bildet das Band einen Rahmen aus, der insbesondere um das auf der zu erfassenden Oberfläche abgebildete Objekt, angeordnet ist. Vorzugsweise ist der durch das Band gebildete Rahmen rechteckig ausgebildet. Vorzugsweise weisen die Referenzmarker jeweils ein Muster auf, das auf einer der Oberfläche angewandten Seite der Referenzmarker angeordnet ist. Vorzugsweise weisen die Referenzmarker eine quadratische Form auf. Besonders bevorzugt sind alle Referenzmarker identisch ausgebildet. Vorzugsweise sind unmittelbar benachbarte Referenzmarker um einen Abstand voneinander beabstandet, der einem Format der Referenzmarker entspricht. Vorzugsweise weist jeder Referenzmarker ein tatsächliches Format von 100 mm x 100 mm auf. Vorzugsweise werden die Referenzmarker von der Bilderfassungsvorrichtung, insbesondere mittels des Musters, identifiziert.
Vorzugsweise werden zur Erstellung des digitalen Bildes Lichtwellen, die von der zu erfassenden Oberfläche ausgehen, mittels eines Bildsensors der Kamera in digitale Signale umgewandelt. Vorzugsweise wird das digitale Bild in eine Vielzahl von Pixeln zerlegt, die jeweils eine Farbinformation aufweisen. Vorzugsweise wird das digitale Bild mittels der Bilderfassungsvorrichtung digital verarbeitet. Grundsätzlich kann das digitale Bild auch auf einer Anzeige der Bilderfassungsvorrichtung dargestellt werden.
Unter einem „Abbild der zu erfassenden Oberfläche“ soll vorzugsweise eine Ansicht der zu erfassenden Oberfläche in dem digitalen Bild, insbesondere unter Berücksichtigung einer Verzerrung, verstanden werden. Unter einer „Verzerrung“ soll vorzugsweise eine perspektivische Verzerrung verstanden werden, die insbesondere durch eine Aufnahmeebene des Bildsensors der Kamera besteht, die nicht parallel zu der zu erfassenden Oberfläche ausgerichtet ist. Grundsätzlich wäre es auch denkbar, dass eine Verzeichnung, die insbesondere durch eine Optik der Kamera bedingt ist, bei der Perspektivkorrektur berücksichtigt wird.
Vorzugsweise ist das virtuelle Gitter digital, insbesondere mittels der Bilderfassungsvorrichtung, erzeugt. Vorzugsweise bildet das virtuelle Gitter eine regelmäßige Struktur von Gitterlinien aus. Vorzugsweise orientiert sich das virtuelle Gitter an den Referenzmarkern. Vorzugsweise bildet das virtuelle Gitter eine Matrix aus, der Pixel des digitalen Bildes zugeordnet werden. Vorzugsweise wird das virtuelle Gitter in das digitale Bild eingefügt und/oder als Referenz für eine Zuordnung der Pixel als ein eigenständiger Datensatz gespeichert. Vorzugsweise ist das virtuelle Gitter in dem digitalen Bild abhängig von einer Anordnung der Referenzmarker in dem Abbild der zu erfassenden Oberfläche verzerrt.
Vorzugsweise umfasst das virtuelle Gitter eine Vielzahl von Gittereinheiten. Vorzugsweise weisen die Gittereinheiten ein gleiches Format auf wie die Referenzmarker. Vorzugsweise weist jede Gittereinheit ein tatsächliches Format von 100 mm x 100 mm auf. Unter einem „tatsächlichen Format“ soll vorzugsweise ein Format verstanden werden, welches auf die reale, zu erfassende Oberfläche bezogen ist. Unter einer „tatsächliche Höhe und Breite der Gittereinheiten“ soll vorzugsweise eine Höhe und Breite verstanden werden, welche auf die reale, zu erfassende Oberfläche bezogen sind. Vorzugsweise sind unmittelbar benachbarte Gittereinheiten abstandsfrei zueinander angeordnet. Vorzugsweise umfasst jede Gittereinheit eine Vielzahl der Gitterelemente. Vorzugsweise ist das tatsächliche Format der Gitterelemente jeweils quadratisch ausgebildet. Vorzugsweise weist jedes Gitterelement ein tatsächliches Format von 1 mm x 1 mm auf. Vorzugsweise sind unmittelbar benachbarte Gitterelemente abstandsfrei zueinander angeordnet.
Des Weiteren wird vorgeschlagen, dass innerhalb eines virtuellen Rahmens, welcher von den Referenzmarkern unmittelbar umgeben ist, horizontale und vertikale Referenzpunktpaare definiert werden, die jeweils auf einer Gitterlinie des Gitters angeordnet sind. Durch diese Ausgestaltung können Positionen der Gitterlinien vorteilhaft einfach bestimmt werden. Dadurch kann das virtuelle Gitter vorteilhaft einfach anhand der Referenzmarker erzeugt werden. Vorzugsweise grenzt der virtuelle Rahmen direkt an die Referenzmarker, insbesondere an das Band, an. Vorzugsweise sind Referenzpunkte der Referenzpunktpaare jeweils an einem Eckpunkt eines Referenzmarkers auf dem virtuellen Rahmen angeordnet. Unter „horizontalen und vertikalen Referenzpunktpaaren“ sollen vorzugsweise Paare von Referenzpunkten verstanden werden, die sich in dem Band, in dem die Referenzmarker angeordnet sind, exakt gegenüberliegen, insbesondere orthogonal zu dem virtuellen Rahmen verlaufend, wobei eine Ausrichtung einer entsprechenden Gitterlinie zumindest im Wesentlichen horizontal oder zumindest im Wesentlichen vertikal verläuft.
Ferner wird vorgeschlagen, dass zur Berechnung von Eckkoordinaten der Gittereinheiten Steigungen von Gitterlinien bestimmt werden, wobei die Steigungen durch die Verzerrung bedingt sind, wobei die Gitterlinien der Gittereinheiten jeweils an zu den Gittereinheiten nächstliegenden Referenzmarkern anliegen. Durch diese Ausgestaltung können Ausrichtungen der Gitterlinien vorteilhaft einfach bestimmt werden. Des Weiteren kann durch diese Ausgestaltung eine Position der Gittereinheiten innerhalb des virtuellen Gitters vorteilhaft einfach bestimmt werden. Vorzugsweise sind die Gittereinheiten jeweils durch vier Gitterlinien des virtuellen Gitters definiert. Vorzugsweise werden die Steigungen der Gitterlinien mittels der horizontalen Referenzpunktpaare bzw. der vertikalen Referenzpunktpaare ermittelt. Vorzugsweise sind die Eckkoordinaten einer Gittereinheit als Schnittpunkte der Gitterlinien der Gittereinheit ausgebildet. Vorzugsweise werden die Eckkoordinaten der Gittereinheit mittels den Steigungen der Gitterlinien der Gittereinheit und mittels der horizontalen und vertikalen Referenzpunktpaare ermittelt.
Zudem wird vorgeschlagen, dass zur Berechnung einer Zuordnung von Pixeln zu Gitterelementen zumindest eine Distanz zwischen Eckkoordinaten einer jeweiligen Gittereinheit berechnet wird. Durch diese Ausgestaltung kann zumindest eine Bezugskoordinate für die in der Gittereinheit angeordneten Gitterelemente definiert werden. Dadurch kann eine besonders vorteilhafte Perspektivkorrektur vorgenommen werden.
Des Weiteren wird vorgeschlagen, dass eine Distanz zwischen Eckpunkten eines jeden Gitterelements innerhalb einer Gittereinheit abhängig von einer Anzahl an horizontal und/oder vertikal benachbarten Gitterelementen in der Gittereinheit und von einer Distanz zwischen Eckkoordinaten einer jeweiligen Gittereinheit bestimmt wird. Durch diese Ausgestaltung kann eine vorteilhaft gleichmäßige Größe der Gitterelemente innerhalb einer Gittereinheit erreicht werden. Dadurch kann eine besonders vorteilhafte Perspektivkorrektur vorgenommen werden. Ferner kann dadurch ein Rechenaufwand vorteilhaft geringgehalten werden.
Ferner wird vorgeschlagen, dass eine Position der Gitterelemente in Fließkommazahlen mit doppelter Genauigkeit berechnet wird. Durch diese Ausgestaltung werden Abweichungen vorteilhaft auf eine Rechengenauigkeit in Dezimalstellen reduziert. Des Weiteren können Abweichungen vorteilhaft für jeden Punkt ohne eine Möglichkeit zur Fehlerfortpflanzung lokalisiert werden.
Zudem wird vorgeschlagen, dass in einem Parsing-Prozess eine Nachschlagetabelle erstellt wird, wobei eine Größe der Nachschlagetabelle einer Auflösung der Kamera und/oder einer Auflösung einer Anzeige der Bilderfassungsvorrichtung entspricht. Durch diese Ausgestaltung können die in der Perspektivkorrektur ermittelten Daten vorteilhaft weiterverarbeitet werden. Des Weiteren können durch diese Ausgestaltung Pixel den Positionen vorteilhaft einfach zugeordnet werden. Vorzugsweise weist die Nachschlagetabelle eine Anzahl an Datenfeldern auf, die der Auflösung der Kamera und/oder der Auflösung der Anzeige entspricht. Vorzugsweise enthält die Nachschlagtabelle Farbinformationen entsprechend der Pixel.
Des Weiteren wird vorgeschlagen, dass die Nachschlagetabelle von der Bilderfassungsvorrichtung an ein, insbesondere handgehaltenes, Gerät übermittelt wird. Durch diese Ausgestaltung können die in der Perspektivkorrektur ermittelten Daten vorteilhaft genutzt und/oder weiterverarbeitet werden. Vorzugsweise greift das Gerät auf die Nachschlagetabelle zu. Vorzugsweise nutzt das Gerät die Nachschlagetabelle zur Ermittlung von Farbinformationen an Positionen der Oberfläche.
Ferner wird vorgeschlagen, dass die Nachschlagetabelle abhängig von einer Position eines, insbesondere handgehaltenen, Geräts zu einem definierten Farbauftrag mittels des Geräts auf die Oberfläche genutzt wird. Durch diese Ausgestaltung kann eine vorteilhaft präzise Reproduktion der Motivvorlage auf der Oberfläche erreicht werden, insbesondere bei einer Verzerrung des Abbilds der zu erfassenden Oberfläche. Vorzugsweise ist das Gerät als eine Medienauftragsvorrichtung, insbesondere Farbauftragsvorrichtung, ausgebildet. Vorzugsweise bringt die Medienauftragsvorrichtung entsprechend der Nachschlagetabelle zumindest ein Medium, insbesondere Farben, definiert auf die Oberfläche auf.
Zudem wird vorgeschlagen, dass mittels zumindest eines Sensormittels der Bilderfassungsvorrichtung eine Position eines, insbesondere handgehaltenen, Geräts bestimmt wird, wobei die Position des Geräts zur Navigation in der Nachschlagetabelle benutzt wird. Durch diese Ausgestaltung kann eine vorteilhaft präzise Reproduktion der Motivvorlage auf der Oberfläche erreicht werden, insbesondere bei einer Verzerrung des Abbilds der zu erfassenden Oberfläche. Vorzugsweise erfasst die Bilderfassungsvorrichtung das Gerät relativ zu der Oberfläche. Vorzugsweise ermittelt die Bilderfassungsvorrichtung eine Position des Geräts mittels einer Positionsmarkierung des Geräts, die von der Bilderfassungsvorrichtung, insbesondere von dem Sensormittel, erkannt wird. Vorzugsweise übermittelt die Bilderfassungsvorrichtung die Position des Geräts an das Gerät.
Das erfindungsgemäße Kalibrierungsverfahren soll hierbei nicht auf die oben beschriebene Anwendung und Ausführungsform beschränkt sein. insbesondere kann das erfindungsgemäße Kalibrierungsverfahren zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten sowie Verfahrensschritten abweichende Anzahl aufweisen. Zudem sollen bei den in dieser Offenbarung angegebenen Wertebereichen auch innerhalb der genannten Grenzen liegende Werte als offenbart und als beliebig einsetzbar gelten.
Figurenliste
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In den Zeichnungen ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnungen, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.
Es zeigen:

1 ein erfindungsgemäßes Kalibrierungsverfahren in einer schematischen Darstellung,
2 eine Bilderfassungsvorrichtung und ein Kalibrierungsobjekt zur Durchführung des erfindungsgemäßen Verfahrens in einer schematischen Darstellung,
3 ein Ablaufschema einer Erfassungsphase eines ersten Verfahrensschritts des erfindungsgemäßen Kalibrierungsverfahrens in einer schematischen Darstellung,
4 eine von der Bilderfassungsvorrichtung zu erfassende Oberfläche mit Referenzmarkern in einer schematischen Darstellung,
5 ein digitales Bild mit einem verzerrten Abbild der zu erfassenden Oberfläche und mit einem virtuellen Gitter in einer schematischen Darstellung,
6 eine Gittereinheit des virtuellen Gitters in einer schematischen Darstellung,
7 eine Oberfläche mit einer auf die Oberfläche aufgebrachten oder aufprojizierten Motivvorlage, die von der Bilderfassungsvorrichtung erfasst wird, in einer schematischen Darstellung,
8 eine Anzeige der Bilderfassungsvorrichtung mit einem Abbild eines digitalen Bildes der erfassten Oberfläche in einer schematischen Darstellung,
9 eine Ansicht der zu erfassenden Oberfläche, über die ein handgehaltenes Gerät geführt wird, und der Bilderfassungsvorrichtung sowie ein Ablauf eines Verfahrensschritts in einer schematischen Darstellung und
10 ein Ablaufschema einer Vorhersageberechnungsphase in einer schematischen Darstellung.

Beschreibung des Ausführungsbeispiels
In der 1 ist ein Kalibrierungsverfahren 10 gezeigt. Das Kalibrierungsverfahren 10 umfasst einen ersten Verfahrensschritt 12. Das Kalibrierungsverfahren 10 umfasst einen zweiten Verfahrensschritt 14. Das Kalibrierungsverfahren 10 umfasst einen dritten Verfahrensschritt 16. Grundsätzlich kann das Kalibrierungsverfahren 10 zusätzliche Verfahrensschritte aufweisen. Das Kalibrierungsverfahren 10 ist zur Vorbereitung eines Betriebs und/oder zum Betrieb eines, insbesondere handgehaltenen, Geräts 18 vorgesehen. Das Gerät 18 ist im vorliegenden Fall als eine Medienauftragsvorrichtung, insbesondere Farbauftragsvorrichtung, ausgebildet.
In der 2 sind eine Bilderfassungsvorrichtung 20 und ein Kalibrierungsobjekt 22 gezeigt. Das Kalibrierungsverfahren 10 ist zu einer Kalibrierung der Bilderfassungsvorrichtung 20 vorgesehen. Das Kalibrierungsverfahren 10 ist zu einer Kalibrierung eines Systems aus dem Gerät 18 und der Bilderfassungsvorrichtung 20 vorgesehen. In dem ersten Verfahrensschritt 12 werden/wird in Abhängigkeit von dem durch die Bilderfassungsvorrichtung 20 erfassten Kalibrierungsobjekt 22 eine Belichtungsdauer und/oder eine Belichtungsstärke der Bilderfassungsvorrichtung 20, insbesondere ein Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke der Bilderfassungsvorrichtung 20, ermittelt. Der erste Verfahrensschritt 12 umfasst eine Erfassungsphase 24, eine Berechnungsphase 26 und eine Kalibrierungsphase 28 (vgl. 1).
Die Bilderfassungsvorrichtung 20 ist im vorliegenden Fall als ein mobiles, persönliches elektronisches Gerät ausgebildet. Die Bilderfassungsvorrichtung 20 ist als ein Smartphone oder als ein Tablet-PC ausgebildet. Im vorliegenden Fall ist die Bilderfassungsvorrichtung 20 auf einer Aufständereinheit 30, welche als Stativ ausgebildet ist, ortsfest positioniert. Die Bilderfassungsvorrichtung 20 weist eine Kamera auf. Die Bilderfassungsvorrichtung 20 weist eine Anzeige 32 auf, die als ein Bildschirm ausgebildet ist. Die Bilderfassungsvorrichtung 20 ist zu einer, insbesondere dynamischen, Bildverarbeitung vorgesehen. Die Bilderfassungsvorrichtung 20 ist zur Aufnahme eines digitalen Bildes 34 einer zu erfassenden Oberfläche 36, insbesondere einer Motivvorlage 60 auf der zu erfassenden Oberfläche 36, vorgesehen. Die Oberfläche 36 ist im vorliegenden Fall als eine Wandoberfläche eines Raumes in einem Gebäude ausgebildet. Die Bilderfassungsvorrichtung 20 wird anhand des Kalibrierungsobjekts 22 kalibriert, bevor ein digitales Bild 34 der zu erfassenden Oberfläche 36 aufgenommen wird. Die Bilderfassungsvorrichtung 20 wird kalibriert, um die durch die Bilderfassungsvorrichtung 20 zu erfassende Oberfläche 36, insbesondere die Motivvorlage 60 auf der zu erfassenden Oberfläche 36, korrekt belichtet erfassen zu können. Eine Belichtungseinstellung der Kamera, insbesondere die Belichtungsdauer und/oder die Belichtungsstärke, wird mittels des Kalibrierungsverfahrens 10 angepasst, um die zu erfassende Oberfläche 36, insbesondere die Motivvorlage 60 auf der zu erfassenden Oberfläche 36, mittels der Kamera zu erfassen und eine Bildverarbeitung durchführen zu können.
Die Kamera weist einen optoelektronischen Bildsensor auf. Der Bildsensor wird dauerhaft, insbesondere ohne einen mechanischen Verschluss, belichtet. Der Bildsensor wird zur Aufnahme des digitalen Bildes 34 in einem definierten Zeitraum, insbesondere der Belichtungsdauer, belichtet. Alternativ könnte die Belichtungsdauer als eine Verschlusszeit der Kamera ausgebildet sein. Die Belichtungsstärke ist als eine Lichtempfindlichkeit des Bildsensors, insbesondere als ein ISO-Wert, ausgebildet.
Die Belichtungseinstellung der Kamera muss angepasst werden, damit die Kamera Objekte bei einer Bildverarbeitung detektieren kann. Ist eine Belichtung zu hoch, erreicht mehr Licht den Bildsensor und folglich wird ein Abbild des Kalibrierungsobjekts 22 zu weiß. Andererseits wird ein Abbild des Kalibrierungsobjekts 22 zu dunkel, wenn zu wenig Licht den Bildsensor erreicht. In beiden Fällen könnte die Bildverarbeitung nicht so zuverlässig erfolgen, wie erforderlich. Diese Problematik tritt sehr oft auf, wenn eine Umgebungshelligkeit, insbesondere Raumhelligkeit, entweder zu hell (hoher Lux-Wert) oder zu dunkel (sehr geringer Lux-Wert) ist.
Das Kalibrierungsobjekt 22 wird, insbesondere vor Beginn der Erfassungsphase 24, in einem Sichtfeld 40 der Kamera positioniert. Das Kalibrierungsobjekt 22 wird von der Bilderfassungsvorrichtung 20 erkannt. Die Bilderfassungsvorrichtung 20 erkennt das Kalibrierungsobjekt 22 an einer Form des Kalibrierungsobjekts 22. Die Form des Kalibrierungsobjekts 22 ist in der Bilderfassungsvorrichtung 20 abgespeichert und/oder die Bilderfassungsvorrichtung 20 hat die Form des Kalibrierungsobjekts 22 erlernt.
Das Kalibrierungsobjekt 22 weist ein Leuchtmittel 42 auf, welches dazu vorgesehen ist, unterschiedliche Farbzustände 44 anzunehmen. Das Leuchtmittel 42 weist zumindest eine LED auf. Das Leuchtmittel 42 emittiert farbiges Licht entsprechend eines jeweiligen Farbzustandes der verschiedenen Farbzustände 44. Die Bilderfassungsvorrichtung 20 erfasst das Kalibrierungsobjekt 22 in verschiedenen Kalibrierungssequenzen in den unterschiedlichen Farbzuständen 44 des Kalibrierungsobjekts 22 zur Ermittlung der Belichtungsdauer und/oder der Belichtungsstärke. Ein Ablaufschema 46 der Erfassungsphase 24 ist in der 3 dargestellt. Das Kalibrierungsobjekt 22 wird von der Bilderfassungsvorrichtung 20 zur Ausführung der Kalibrierungssequenzen in der Erfassungsphase 24 erfasst. Die Bilderfassungsvorrichtung 20 erfasst das Kalibrierungsobjekt 22 in jeder Kalibrierungssequenz der verschiedenen Kalibrierungssequenzen in je einem der unterschiedlichen Farbzustände 44 des Kalibrierungsobjekts 22. In jeder Kalibrierungssequenz der verschiedenen Kalibrierungssequenzen wird ein Wertebereich für eine Belichtungsdauer und/oder eine Belichtungsstärke ermittelt, in dem das Abbild des Kalibrierungsobjekts 22 zumindest eine definierte Helligkeitsbedingung erfüllt. Das Kalibrierungsobjekt 22, insbesondere eine Außenkontur des Kalibrierungsobjekts 22, ist unter der zumindest einen definierten Helligkeitsbedingung von einem Hintergrund und/oder einer Umgebung des Kalibrierungsobjekts 22 unterscheidbar.
Die Bilderfassungsvorrichtung 20 erfasst während jedes Farbzustands das Kalibrierungsobjekt 22 mehrfach. Die Bilderfassungsvorrichtung 20 variiert während jedes Farbzustands des Kalibrierungsobjekts 22 die Belichtungsdauer und/oder die Belichtungsstärke über die im Wesentlichen gesamte vorgesehene Wertespanne der Belichtungsdauer und/oder der Belichtungsstärke, solange die Bilderfassungsvorrichtung 20 das Kalibrierungsobjekt 22 erkennt. Die Wertespanne ist durch minimal und maximal an der Bilderfassungsvorrichtung 20 einstellbare Werte für die Belichtungsdauer und/oder die Belichtungsstärke definiert. Grundsätzlich ist es denkbar, dass die Bilderfassungsvorrichtung 20 das Kalibrierungsobjekt 22 bei minimalen und/oder maximalen Werten für die Belichtungsdauer und/oder die Belichtungsstärke zumindest teilweise nicht mehr erkennt, insbesondere wenn abhängig von der Umgebungshelligkeit Konturen, insbesondere Außenkonturen, des Kalibrierungsobjekts 22 nicht mehr von einem Hintergrund und/oder einer Umgebung des Kalibrierungsobjekts 22 unterscheidbar sind. Anhand zumindest eines vorgegebenen Zufriedenheitsfaktors wird ermittelt, bei welchen Helligkeitswerten das Kalibrierungsobjekt 22 in dem Wertebereich liegt. Der zumindest eine vorgegebene Zufriedenheitsfaktor ist vorbestimmt. Für jeden Farbzustand wird die vollständige mittels der Kamera umsetzbare Wertespanne der Belichtungsdauer und/oder der Belichtungsstärke von absolut dunkel bis sehr hell genutzt. Wenn das Abbild des Kalibrierungsobjekts 22 heller wird, kann das Kalibrierungsobjekt 22 erkannt werden. Mittels des zumindest einen vorgegebenen Zufriedenheitsfaktors wird das Kalibrierungsobjekt 22 solange als detektiert erachtet, bis das Abbild des Kalibrierungsobjekts 22 sehr hell wird und das Kalibrierungsobjekt 22 nicht mehr erkannt werden kann. Der Wertebereich für die Belichtungsdauer und/oder die Belichtungsstärke definiert einen Bereich, in dem der zumindest eine vorgegebene Zufriedenheitsfaktor zutrifft. Der Wertebereich für die Belichtungsdauer und/oder die Belichtungsstärke definiert einen Bereich, in dem das Kalibrierungsobjekt 22 mit einem hohen Zufriedenheitsgrad erkennbar ist. Der ermittelte Wertebereich für die Belichtungsdauer und/oder die Belichtungsstärke wird für jede Kalibrierungssequenz in der Bilderfassungsvorrichtung 20 abgespeichert.
Im vorliegenden Fall nimmt das Kalibrierungsobjekt 22 in den Farbzuständen 44 Grundfarben basierend auf zwei verschiedenen Farbmodellen an. Eines der Farbmodelle ist das CMY-Farbmodell und ein weiteres der Farbmodelle ist das RGB-Farbmodell. Die Farbzustände 44 werden in der Erfassungsphase 24 in einer festgelegten Reihenfolge 48 durchlaufen. Auf eine Grundfarbe eines ersten Farbmodells der zwei Farbmodelle folgt eine Grundfarbe eines zweiten Farbmodells der zwei Farbmodelle, welche einen geringsten spektralen Überlapp mit der Grundfarbe des ersten Farbmodells aufweist. Im vorliegenden Fall ist das erste Farbmodell der zwei Farbmodelle das RGB-Farbmodell und das zweiten Farbmodell der zwei Farbmodelle das CMY-Farbmodell. Zumindest eine Grundfarbe des ersten Farbmodells der zwei Farbmodelle ist eine Komplementärfarbe zu einer Grundfarbe des zweiten Farbmodells der zwei Farbmodelle.
Während der Erfassungsphase 24 werden im vorliegenden Fall sechs Kalibrierungssequenzen durchlaufen. Im vorliegenden Fall durchläuft das Kalibrierungsobjekt 22 während der Erfassungsphase 24 sechs unterschiedliche Farbzustände 44, in welchen das Kalibrierungsobjekt 22 jeweils eine Farbe annimmt. In jeder Kalibrierungssequenz emittiert das Kalibrierungsobjekt 22 einen anderen Farbzustand. Die Farbe, die das Kalibrierungsobjekt 22 in den unterschiedlichen Farbzuständen 44 annimmt, ist jeweils blau, cyan, grün, gelb, rot oder magenta. Zur Sicherstellung, dass ein farbiges Objekt, insbesondere das Kalibrierungsobjekt 22, unter verschiedenen Umgebungshelligkeitsbedingungen, insbesondere in einem Raum, erkannt wird, wird die Erfassung des Objekts mittels sechs Grundfarben eines Farbkreises kalibriert. Während der Erfassungsphase 24 wird ein Farbzustand des Kalibrierungsobjekts 22 automatisch gewechselt. Die Kalibrierungssequenzen werden automatisch aufeinander folgend ausgeführt. Der Wertebereich für die Belichtungsdauer und/oder die Belichtungsstärke wird im vorliegenden Fall insgesamt sechs Mal ermittelt. Der Wertebereich für die Belichtungsdauer und/oder die Belichtungsstärke wird für jeden Farbzustand einzeln ermittelt.
Auf die Erfassungsphase 24 folgt die Berechnungsphase 26. In der Berechnungsphase 26 wird der Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke der Bilderfassungsvorrichtung 20 ermittelt. In der Berechnungsphase 26 wird der Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke der Bilderfassungsvorrichtung 20 für weitere Phasen in der Bildverarbeitung festgelegt. Der Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke der Bilderfassungsvorrichtung 20 wird aus den ermittelten Wertebereichen für die Belichtungsdauer und/oder die Belichtungsstärke aus allen Kalibrierungssequenzen berechnet. Der Optimalwert ist als ein Mittelwert der ermittelten Wertebereiche für die Belichtungsdauer und/oder die Belichtungsstärke aus allen Kalibrierungssequenzen ausgebildet. Grundsätzlich wäre es denkbar, dass die Berechnungsphase 26 parallel zu der Erfassungsphase 24 entsprechend der Kalibrierungssequenzen abläuft.
Die Bilderfassungsvorrichtung 20 wird in der Kalibrierungsphase 28 auf die ermittelte Belichtungsdauer und/oder die ermittelte Belichtungsstärke eingestellt. Die Bilderfassungsvorrichtung 20 wird in der Kalibrierungsphase 28 auf den berechneten Optimalwert für die Belichtungsdauer und/oder die Belichtungsstärke eingestellt. Die ermittelte Belichtungsdauer und/oder die ermittelte Belichtungsstärke, insbesondere der Optimalwert, wird in der Kamera voreingestellt. Die Bilderfassungsvorrichtung 20 wird bei jeder wesentlichen Veränderung der Umgebungshelligkeit erneut kalibriert, wobei die Bilderfassungsvorrichtung 20 das Kalibrierungsobjekt 22 in den verschiedenen Kalibrierungssequenzen in den unterschiedlichen Farbzuständen 44 des Kalibrierungsobjekts 22 zur Ermittlung der Belichtungsdauer und/oder der Belichtungsstärke erneut erfasst.
In dem zweiten Verfahrensschritt 14 wird die von der Kamera der Bilderfassungsvorrichtung 20 zu erfassende Oberfläche 36 mit physischen Referenzmarkern 50 markiert, wobei mittels der Kamera das digitale Bild 34 der zu erfassenden Oberfläche 36 erstellt wird, wobei anhand der Referenzmarker 50 mittels der Bilderfassungsvorrichtung 20 ein virtuelles Gitter 52 erzeugt wird, welches sich an den Referenzmarkern 50 orientiert, wobei Pixel des erstellten Bildes 34 Gitterelementen 54 des Gitters 52 zugeordnet werden, wobei die Gitterelemente 54 alle ein gleiches tatsächliches Format aufweisen. Anhand der Referenzmarker 50 wird eine Perspektivkorrektur einer in dem Bild 34 vorhandenen Verzerrung eines Abbilds 56 der zu erfassenden Oberfläche 36 durchgeführt, wobei die Verzerrung durch einen Winkel zwischen der Oberfläche 36 und einer Aufnahmeebene der Kamera bedingt ist, wobei das Gitter 52 in Gittereinheiten 58 unterteilt wird, die alle ein gleiches tatsächliches Format aufweisen und in denen jeweils eine gleiche Anzahl an Gitterelementen 54 angeordnet ist, wobei eine tatsächliche Höhe und Breite der Gittereinheiten 58 von den Referenzmarkern 50 vorgegeben werden. Der Winkel zwischen der Oberfläche 36 und der Aufnahmeebene der Kamera kann durch reale Einschränkungen und/oder durch eine Unerfahrenheit eines Nutzers bedingt sein, wodurch eine Perspektive auf die Oberfläche 36 entsteht. Das Kalibrierungsverfahren 10 ist für die Bilderfassungsvorrichtung 20.
Eine physische Position jedes Pixels des digitalen Bildes 34 wird auf der Oberfläche 36 anhand der Referenzmarker 50 und anhand des virtuellen Gitters 52 bestimmt. Die zu erfassende Oberfläche 36 ist in einer Ebene angeordnet. Auf der zu erfassenden Oberfläche 36 ist ein Objekt abgebildet. Das Objekt ist als eine Motivvorlage 60 ausgebildet. Die Motivvorlage 60 kann nach einer Erfassung durch die Bilderfassungsvorrichtung 20 mittels eines Medienauftrags, insbesondere Farbauftrags, auf die Oberfläche 36, insbesondere permanent, auf die Oberfläche 36 aufgebracht und/oder in diese eingebracht werden.
Der zweite Verfahrensschritt 14 umfasst eine Vorbereitungsphase 62, eine Aufnahmephase 64, eine Aufteilungs- und Initialisierungsphase 66, eine Datentransformationsphase 68 und eine Datentransferphase 70 (vgl. 1).
Die Referenzmarker 50 werden in der Vorbereitungsphase 62 auf der Oberfläche 36, insbesondere haftend, aber zerstörungsfrei lösbar, angeordnet. Die Referenzmarker 50 sind in einem Band angeordnet. Das Band bildet einen Rahmen aus, der um das auf der zu erfassenden Oberfläche 36 abgebildete Objekt, insbesondere die Motivvorlage 60, angeordnet ist. Der durch das Band gebildete Rahmen ist rechteckig ausgebildet. Die Referenzmarker 50 weisen jeweils ein Muster auf, das auf einer der Oberfläche 36 angewandten Seite der Referenzmarker 50 angeordnet ist. Die Referenzmarker 50 weisen eine quadratische Form auf. Alle Referenzmarker 50 sind identisch ausgebildet. Unmittelbar benachbarte Referenzmarker 50 sind um einen Abstand voneinander beabstandet, der einem Format der Referenzmarker 50 entspricht. Jeder Referenzmarker 50 weist ein tatsächliches Format von 100 mm x 100 mm auf. Die Referenzmarker 50 werden von der Bilderfassungsvorrichtung 20, insbesondere mittels des Musters, identifiziert.
Zur Erstellung des digitalen Bildes 34 werden Lichtwellen, die von der zu erfassenden Oberfläche 36 ausgehen, in der Aufnahmephase 64 mittels des Bildsensors der Kamera in digitale Signale umgewandelt. Das digitale Bild 34 wird in eine Vielzahl von Pixeln zerlegt, die jeweils eine Farbinformation aufweisen. Das digitale Bild 34 wird mittels der Bilderfassungsvorrichtung 20 digital verarbeitet. Grundsätzlich kann das digitale Bild 34 auch auf der Anzeige 32 der Bilderfassungsvorrichtung 20 dargestellt werden.
In der Aufteilungs- und Initialisierungsphase 66 wird ein Raum innerhalb des Bands aus Referenzmarkern 50 in die Gittereinheiten 58 unterteilt, insbesondere ausgehend von einzelnen Referenzmarkern 50. Das virtuelle Gitter 52 ist digital mittels der Bilderfassungsvorrichtung 20 erzeugt. Das virtuelle Gitter 52 bildet eine regelmäßige Struktur von Gitterlinien 72 aus. Das virtuelle Gitter 52 orientiert sich an den Referenzmarkern 50. Das virtuelle Gitter 52 bildet eine Matrix aus, der Pixel des digitalen Bildes 34 zugeordnet werden. Das virtuelle Gitter 52 wird in das digitale Bild 34 eingefügt und/oder als Referenz für eine Zuordnung der Pixel als ein eigenständiger Datensatz gespeichert. Das virtuelle Gitter 52 ist in dem digitalen Bild 34 abhängig von einer Anordnung der Referenzmarker 50 in dem Abbild 56 der zu erfassenden Oberfläche 36 verzerrt.
Das virtuelle Gitter 52 umfasst eine Vielzahl von Gittereinheiten 58. In der Aufteilungs- und Initialisierungsphase 66 wird das Gitter 52 in die Gittereinheiten 58 unterteilt. Dadurch kann eine Fehlerakkumulierung vorteilhaft vollständig eliminiert werden, die durch Schätzungen von Werten entstehen würde. Dadurch können Fehler innerhalb einer Gittereinheit 58 isoliert werden. Folglich werden Fehler mit jeder Gittereinheit 58 zurückgesetzt und können sich vorteilhaft nicht fortpflanzen. Die Gittereinheiten 58 weisen ein gleiches Format auf wie die Referenzmarker 50. Jede Gittereinheit 58 weist ein tatsächliches Format von 100 mm x 100 mm auf. Unmittelbar benachbarte Gittereinheiten 58 sind abstandsfrei zueinander angeordnet. Jede Gittereinheit 58 umfasst eine Vielzahl der Gitterelemente 54. Das tatsächliche Format der Gitterelemente 54 ist jeweils quadratisch ausgebildet. Jedes Gitterelement 54 weist ein tatsächliches Format von 1 mm x 1 mm auf. Unmittelbar benachbarte Gitterelemente 54 sind abstandsfrei zueinander angeordnet.
Ein Koordinatensystem 74 des Gitters 52 geht von einer oberen linken Ecke eines virtuellen Rahmens, welcher von den Referenzmarkern 50 unmittelbar umgeben ist, aus. Ein (0, 0)-Punkt 76 des Gitters 52, insbesondere ein Ursprungspunkt des Koordinatensystems 74, wird in der oberen linken Ecke des Rahmens festgelegt. Das Koordinatensystem 74 weist eine x-Achse 78 und eine y-Achse 80 auf. Das Koordinatensystem 74 erstreckt sich horizontal entlang der x-Achse 78 und vertikal entlang der y-Achse 80 jeweils in 1 mm-Schritten. Eine physikalische Bedeutung von x- und y-Koordinaten, welche einen (x,y)-Punkt des Gitters 52 bilden, repräsentieren eine Verschiebung in mm auf der x-Achse 78 bzw. der y-Achse 80, gemessen als ein relativer Abstand zwischen dem (x,y)-Punkt und dem (0,0)-Punkt 76, dem Ursprungspunkt.
Die Gittereinheiten 58 weisen jeweils fünf Eigenschaften auf, nämlich vier Eckkoordinaten A, B, C, D (links unten, rechts unten, rechts oben, links oben) bezogen auf Pixel des digitalen Bildes 34 und absolute Koordinaten einer Eckkoordinate 82 links oben in mm bezogen auf das Koordinatensystem 74. Die Eckkoordinate 82 entspricht der Eckkoordinate D (vgl. 5 und 6). Absolute Koordinaten werden anhand der Referenzmarker 50 und/oder anhand weißer Freiräume zwischen den Referenzmarkern 50 bestimmt.
Innerhalb eines virtuellen Rahmens, welcher von den Referenzmarkern 50 unmittelbar umgeben ist, werden horizontale und vertikale Referenzpunktpaare 84, 86, 88, 90 definiert, die jeweils auf einer Gitterlinie 72 des Gitters 52 angeordnet sind. Der virtuelle Rahmen grenzt direkt an die Referenzmarker 50, insbesondere an das Band, an. Referenzpunkte der Referenzpunktpaare 84, 86, 88, 90 sind jeweils an einem Eckpunkt eines Referenzmarkers 50 auf dem virtuellen Rahmen angeordnet. Ein erstes vertikales Referenzpunktpaar 84 weist einen oberen Punkt T1 und einen unteren Punkt B1 auf. Ein zweites vertikales Referenzpunktpaar 86 weist einen oberen Punkt T2 und einen unteren Punkt B2 auf. Ein erstes horizontales Referenzpunktpaar 88 weist einen linken Punkt L1 und einen rechten Punkt R1 auf. Ein zweites horizontales Referenzpunktpaar 90 weist einen linken Punkt L2 und einen rechten Punkt R2 auf. Innerhalb eines Referenzpunktpaares 84, 86, 88, 90 haben die Punkte dieselben absoluten Koordinaten in mm (nicht in Pixel) auf der x-Achse 78 für die vertikalen Referenzpunktpaare 84, 86 und auf der y-Achse 80 für die horizontalen Referenzpunktpaare 88, 90.
Zur Berechnung der Eckkoordinaten A, B, C, D der Gittereinheiten 58 bezogen auf Pixel des digitalen Bildes 34 werden Steigungen von Gitterlinien 72 bestimmt, wobei die Steigungen durch die Verzerrung bedingt sind, wobei die Gitterlinien 72 der Gittereinheiten 58 jeweils an zu den Gittereinheiten 58 nächstliegenden Referenzmarkern 50 anliegen. Die Gittereinheiten 58 sind jeweils durch vier Gitterlinien 72 des virtuellen Gitters 52 definiert. Die Steigungen der Gitterlinien 72 werden mittels der horizontalen Referenzpunktpaare 88, 90 bzw. der vertikalen Referenzpunktpaare 84, 86 ermittelt. Die Eckkoordinaten A, B, C, D einer Gittereinheit 58 sind als Schnittpunkte der Gitterlinien 72 der Gittereinheit 58 ausgebildet. Die Eckkoordinaten A, B, C, D der Gittereinheit 58 werden mittels den Steigungen der Gitterlinien 72 der Gittereinheit 58 und mittels der horizontalen und vertikalen Referenzpunktpaare 84, 86, 88, 90 ermittelt, insbesondere berechnet.
Eine Grundgleichung zur Berechnung einer Steigung zwischen zwei Punkten mit bekannten Koordinaten ist in Formel (1) aufgeführt. $m = \frac{y_{1} - y_{2}}{x_{1} - x_{2}}$
Eine Steigung m₁ zwischen den Punkten L1 und R1 wird mittels Formel (2) berechnet. $m_{1} = \frac{R 1. y - L 1. y}{R 1. x - L 1. x}$
Eine Steigung m₂ zwischen den Punkten T1 und B1 wird mittels Formel (3) berechnet. $m_{2} = \frac{T 1. y - B 1. y}{T 1. x - B 1. x}$
Bezogen auf diese Punkte sind damit die Steigungen m₁ und m₂ bekannt sowie die Koordinaten der Punkte T1 und L1. Ein Schnittpunkt Z wird mittels Formel (4) und (5) berechnet. $Z . x = \frac{L 1. y - T 1. y + m_{1} * T 1. x - m_{2} * L 1. x}{m_{1} - m_{2}}$
$Z . y = T 1. y + m_{1} * (Z . x - T 1. x)$
Es gibt in Formel (1) eine mathematische Singularität für den Fall, dass die ersten und/oder zweiten vertikalen Referenzpunktpaare 84, 86 vertikale Linien mit undefinierten Steigungen bedingt durch eine Teilung durch null sind. Für diesen speziellen Fall werden die Formeln zur Berechnung des Schnittpunktes Z von Gleichungen mit zwei Linien abgeleitet. Beispielsweise wird der Schnittpunkt Z mittels den Formeln (6) und (7) berechnet, wenn die Steigung m₁ undefiniert ist. $Z . x = L 1. x$
$Z . y = T 1. y + m_{2} * (Z . x - T 1. x)$
Die verbleibenden Eckkoordinaten C, A, B (rechts oben, links unten, rechts unten) bezogen auf Pixel des digitalen Bildes 34 werden auf dieselbe Weise berechnet.
Im vorliegenden Fall ist das Ergebnis der Aufteilungs- und Initialisierungsphase 66 ein Array mit 68 Rechtecken, die in der folgenden Datentransformationsphase 68 nach und nach bearbeitet werden.
In der Datentransformationsphase 68 wird eine Kartierungsmatrix für alle Punkte, insbesondere innerhalb der Referenzmarker 50, erstellt. Die Kartierungsmatrix ist als eine Nachschlagetabelle ausgebildet. In einem Parsing-Prozess wird die Nachschlagetabelle erstellt. Der Parsing-Prozess wird in der Datentransformationsphase 68 ausgeführt. Die Nachschlagetabelle ist als eine C Matrix ausgebildet. Eine Größe der Nachschlagetabelle entspricht einer Auflösung der Kamera und/oder einer Auflösung einer Anzeige 32 der Bilderfassungsvorrichtung 20. Dadurch entspricht eine Anzahl an Zeilen in der Nachschlagetabelle einer Anzeigebreite der Anzeige 32 und eine Anzahl an Spalten in der Nachschlagetabelle einer Anzeigehöhe der Anzeige 32. Die Nachschlagetabelle weist eine Anzahl an Datenfeldern auf, die der Auflösung der Kamera und/oder der Auflösung der Anzeige 32 entspricht. Die Nachschlagtabelle enthält Farbinformationen entsprechend der Pixel des Bildes 34. Eine Größe der Nachschlagetabelle ist vorteilhaft minimiert, da sie initialisiert ist auf Daten vom Typ integer bei 16 bit (zwischen - 32768 und +32767).
Jede Stelle in der Nachschlagetabelle (Zeilennummer und Spaltennummer) enthält eine Angabe der Koordinaten der Pixel in mm, welche indizierte Zeilennummern und Spaltennummern aufweisen. Wenn eine Positionsmarkierung der Bilderfassungsvorrichtung 20 an einem (x,y)-Punkt lokalisiert wird, kann die reale Koordinate durch Zugriff auf den gespeicherten Punkt in der Nachschlagetabelle aufgefunden werden. Dadurch kann ein besonders schneller Zugriff auf Farbinformationen erfolgen.
Bei einer Initialisierung der Nachschlagetabelle sind alle abgespeicherten Werte Punkte mit den Koordinaten (-1,-1). Im Folgenden werden die realen Positionen in der Nachschlagetabelle abgespeichert. Dies erfolgt nur für die Pixel bezogen auf das digitale Bild 34, die innerhalb der Referenzmarker 50 angeordnet sind.
In der Datentransformationsphase 68 werden alle realen Koordinaten und Werte für jedes Pixel des digitalen Bildes 34, welches sich innerhalb des Bandes befindet, berechnet. Mittels eines Algorithmus wird jede Gittereinheit 58 herangezogen und für jede Gittereinheit 58 ein Verhältnis von Pixel zu realer Koordinate für jedes Pixel innerhalb der Gittereinheit 58 bestimmt. Die Gittereinheiten 58 werden jeweils in 10.000 Gitterelemente 54 ä 1 mm x 1 mm aufgesplittet.
Zur Berechnung einer Zuordnung von Pixeln zu Gitterelementen 54 wird zumindest eine Distanz zwischen Eckkoordinaten A, B, C, D einer jeweiligen Gittereinheit 58 bezogen auf Pixel des digitalen Bildes 34 berechnet. Eine Distanz zwischen Eckpunkten eines jeden Gitterelements 54 innerhalb einer Gittereinheit 58 wird abhängig von einer Anzahl an horizontal und/oder vertikal benachbarten Gitterelementen 54 in der Gittereinheit 58 und von einer Distanz zwischen Eckkoordinaten A, B, C, D einer jeweiligen Gittereinheit 58 bezogen auf Pixel des digitalen Bildes 34 bestimmt. Eckkoordinaten A, B, C, D der Gittereinheiten 58 werden mittels unterschiedlicher Referenzmarker 50 unabhängig voneinander berechnet.
Zur Berechnung einer Distanz zwischen zwei Punkten mit den Koordinaten (x₁,y₁) und (x₂,y₂) wird Formel (8) herangezogen. $D i s t = \sqrt{{(y_{2} - y_{1})}^{2} + {(x_{2} - x_{1})}^{2}}$
Die Formel (8) wird zur Berechnung einer Distanz Dist_DA und einer Distanz Dist_DC verwendet. Da eine Größe der Gittereinheiten 58 100 mm x 100 mm beträgt, werden die Distanzen Dist_DA und Dist_DC in 100 gleich große Anteile zerlegt. Eine Position der Gitterelemente 54 wird in Fließkommazahlen mit doppelter Genauigkeit berechnet.
Nach einer Berechnung der Distanzen zwischen aufeinanderfolgenden Punkten innerhalb einer Gittereinheit 58 werden vertikale und horizontale Paare identifiziert. Für Punkte der vertikalen Paare wird die linke obere Eckkoordinate D der Gittereinheit 58 als Schwenkpunkt herangezogen. Damit kann ein nächster Punkt W(x,y) mittels der Formeln (10) und (11) bestimmt werden, da eine Distanz d, welche im vorliegenden Fall mittels Formel (9) berechnet wird, die initiale Eckkoordinate D und eine finale Eckkoordinate C bekannt sind. $d = \frac{D i s t_{D C}}{100}$
$W . x = D . x - \frac{d (D . x - C . x)}{D i s t}$
$W . y = D . y - \frac{d (D . y - C . y)}{D i s t}$
Die Formeln (10) und (11) werden auf die Linie DC angewandt, um die oberen 100 Punkte der vertikalen Paare zu bestimmen. Für die unteren Punkte werden die Formeln (10) und (11) auf die Linie AB angewandt. Hierzu sei angemerkt, dass eine Distanz zwischen aufeinanderfolgenden Punkten unterschiedlich ist. Dasselbe gilt für die horizontalen Paare auf den Linien DA und CB. Wenn die Paare bekannt sind, werden die Schnittpunkte jeden vertikalen Paares mit den horizontalen Paaren berechnet. Dadurch können die Punkte P(x,y) bestimmt werden. Da die Berechnungen mit doppelter Genauigkeit erfolgen, sind die Koordinaten im Regelfall non-integer Werte.
Die Nachschlagetabelle und die Medienauftragsvorrichtung arbeiten mit integer Koordinaten, womit Annäherungen an die nächsten integer Werte durchgeführt werden müssen. Da bis zu diesem Zeitpunkt Werte mit doppelter Genauigkeit verarbeitet wurden, ist ein Fehler auf eine Rechengenauigkeit in Dezimalstellen reduziert. Des Weiteren ist der Fehler für jeden Punkt lokalisiert, ohne die Möglichkeit einer Fehlerfortpflanzung.
Werte, die innerhalb der Gittereinheit 58 mittels des zuvor beschriebenen Algorithmus berechnet wurden, sind die tatsächlichen Werte in mm gemessen bezogen auf die absolute linke obere Eckkoordinate, dem (0,0)-Punkt 76, bezogen auf das Koordinatensystem 74. Absolute Koordinaten der Gitterelemente 54 sind vorteilhaft einfach durch Addition der relativen mm Koordinaten zu der absoluten linken oberen Eckkoordinate D berechenbar. Absolute Koordinaten der Gitterelemente 54 werden durch Addition der Koordinaten der Eckkoordinaten D der Gittereinheit 58 berechnet.
Abschließend werden die berechneten absoluten Koordinaten jedes Gitterelements 54 der Gittereinheit 58 in der Nachschlagetabelle gespeichert. Ein realer mm Koordinatenwert wird entsprechend des richtigen Indizes abgespeichert, welcher seine Position in Pixeln repräsentiert.
Die Aufteilungs- und Initialisierungsphase 66 und die Datentransformationsphase 68 bilden einen Mehrschritt-Algorithmus aus, um die realen Punkte ausgehend von dem digitalen Bild 34 berechnen zu können.
In der Datentransferphase 70 wird die Nachschlagetabelle von der Bilderfassungsvorrichtung 20 für eine Zugriff auf die Nachschlagetabelle freigegeben. Die Nachschlagetabelle wird von der Bilderfassungsvorrichtung 20 an das, insbesondere handgehaltene, Gerät 18 übermittelt. Das Gerät 18 greift auf die Nachschlagetabelle zu. Das Gerät 18 nutzt die Nachschlagetabelle zur Ermittlung von Farbinformationen an Positionen der Oberfläche 36.
Die Nachschlagetabelle wird abhängig von einer Position des, insbesondere handgehaltenen, Geräts 18, insbesondere in einer weiteren Phase oder einem weiteren Verfahrensschritt oder einem weiteren Verfahren, zu einem definierten Farbauftrag mittels des Geräts 18 auf die Oberfläche 36 genutzt. Die Medienauftragsvorrichtung bringt entsprechend der Nachschlagetabelle zumindest ein Medium, insbesondere Farben, definiert auf die Oberfläche 36 auf.
Mittels zumindest eines Sensormittels der Bilderfassungsvorrichtung 20 wird eine Position des, insbesondere handgehaltenen, Geräts 18 bestimmt, wobei die Position des Geräts 18 zur Navigation in der Nachschlagetabelle benutzt wird. Die Bilderfassungsvorrichtung 20 erfasst das Gerät 18 relativ zu der Oberfläche 36. Die Bilderfassungsvorrichtung 20 ermittelt eine Position des Geräts 18 mittels einer Positionsmarkierung des Geräts 18, die von der Bilderfassungsvorrichtung 20, insbesondere von dem Sensormittel, erkannt wird. Die Positionsmarkierung ist im vorliegenden Fall als ein Leuchtmittel 92 des Geräts 18 ausgebildet. Die Bilderfassungsvorrichtung 20 übermittelt die Position des Geräts 18 an das Gerät 18. Während eines Medienauftrags wird eine Position der Positionsmarkierung, insbesondere des Leuchtmittels 92 des Geräts 18, bezüglich der Pixel des digitalen Bildes 34 detektiert. Die realen Koordinaten der detektierten Positionsmarkierung werden von der Nachschlagetabelle vorgegeben, die vorgespeicherte Millimeterwerte für alle Pixel in dem digitalen Bild 34 bzw. auf der Anzeige 32 aufweist.
Grundsätzlich wäre es zur Speicherung und Indizierung einer virtuellen Positionskarte auch denkbar, eine Hash-Tabelle, eine vektorielle objektive C Implementierung oder andere dem Fachmann für geeignet erscheinende Möglichkeiten zur Kartierung zwischen zwei Objekten zu nutzen. Nachteil von vorimplementierten Strukturen ist ein großer Speicherbedarf, um Werte zu speichern, und eine Berechnungszeit um ein spezielles Objekt zu lokalisieren. Es wird eine zeiteffektive Objektlokalisierung benötigt, da im Betrieb sofort auf Informationen zu einem bestimmten Punkt zugegriffen werden können muss. Andernfalls könnten Verzögerungen und Rückstände in einer Augmented Reality Ansicht auftreten, die zu einer hohen Ungenauigkeit bei einem Medienauftrag und ebenfalls zu einer CPU-Übernutzung führen könnten.
In dem Kalibrierungsverfahren 10 wird in dem dritten Verfahrensschritt 16 eine Position des handgehaltenen Geräts 18, welches insbesondere zu einem definierten Farbauftrag auf die Oberfläche 36 vorgesehen ist, in Echtzeit bestimmt, wobei das Gerät 18 mittels einer inertialen Messeinheit des Geräts 18 und mittels der Kamera der Bilderfassungsvorrichtung 20 überwacht wird, wobei zu einer Vorhersage einer Position des Geräts 18 optische Positionsdaten, die von der Bilderfassungsvorrichtung 20 ermittelt werden, und Bewegungsdaten, die von der inertialen Messeinheit ermittelt werden, kombiniert ausgewertet werden. Das Gerät 18 weist das Leuchtmittel 92 auf, welches eine definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer emittiert, wobei die Bilderfassungsvorrichtung 20 die von dem Leuchtmittel 92 emittierten Farbzustände erfasst und auswertet. Das Leuchtmittel 92 des Geräts 18 ist als eine LED ausgebildet.
Das Gerät 18 ist an der Oberfläche 36 entlang der x-Achse 78 und der y-Achse 80 innerhalb definierter Grenzen frei bewegbar. Das Gerät 18 weist bei einer Bewegung über die Oberfläche 36 einen zumindest im Wesentlichen konstanten Abstand zu der Oberfläche 36 auf. An bestimmten Punkten auf der Oberfläche 36 ist das Gerät 18 dazu vorgesehen, eine Aufgabe auszuführen. Beispielsweise ist das Gerät 18 dazu vorgesehen, einen Punkt an einer Stelle der Oberfläche 36 auf die Oberfläche 36 aufzubringen, wenn das Gerät 18 an dieser Stelle angeordnet ist (vgl. 8). Das Gerät 18 ist jedoch blind, wodurch dem Gerät 18 selbst die Position des Geräts 18 relativ zu der Oberfläche 36 zum aktuellen Zeitpunkt nicht bekannt ist. Zum Betrieb des Geräts 18 in Echtzeit muss daher exakt bekannt sein, wo sich das Gerät 18 befindet. Da die optischen Positionsdaten zur aktuellen Position des Geräts 18 das Gerät 18 drahtlos erreichen, hat sich das Gerät 18 bereits weiterbewegt und die optischen Positionsdaten sind durch eine Latenzzeit bei der drahtlosen Übertragung und durch eine Bildverarbeitungszeit bereits veraltet. Daher muss eine aktuelle Position des Geräts 18 zur Ausführung von Echtzeitaufgaben durch das Gerät 18 zu jeder Zeit vorhergesagt werden.
Der dritte Verfahrensschritt 16 umfasst eine Erfassungsphase 94, eine Übertragungsphase 96, eine Vorhersageberechnungsphase 98 und eine Ausführungsphase 100 (vgl. 1 und 9).
In der 7 ist die Oberfläche 36 mit einer Motivvorlage 60' gezeigt. In der 9 ist die Oberfläche 36 mit einer Motivvorlage 60" gezeigt. Die Oberfläche 36 wird von der Bilderfassungsvorrichtung 20 in der Erfassungsphase 94 erfasst. In der 8 ist ein Abbild 56 der zu erfassenden Oberfläche 36 auf der Anzeige 32 der Bilderfassungsvorrichtung 20 gezeigt. Die Bilderfassungsvorrichtung 20 ist relativ zu der Oberfläche 36 stationär positioniert. Im vorliegenden Fall ist die Bilderfassungsvorrichtung 20 auf der als Stativ ausgebildeten Aufständereinheit 30 ortsfest zu der Oberfläche 36 positioniert.
In der Erfassungsphase 94 werden ein Zeitstempel des Geräts 18 und ein Zeitstempel der Bilderfassungsvorrichtung 20 synchronisiert und die aktuelle Position des Geräts 18 wird optisch bestimmt. Vor einer Vorhersage einer Position des Geräts 18 werden der Zeitstempel des Geräts 18 und ein Zeitstempel der Bilderfassungsvorrichtung 20 synchronisiert. Der Zeitstempel des Geräts 18 ist als primärer Zeitstempel ausgebildet. Der Zeitstempel der Bilderfassungsvorrichtung 20 wird an den Zeitstempel des Geräts 18 angepasst, insbesondere durch diesen überschrieben. Das Gerät 18 steuert eine Aussendung der definierten Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer. Die definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer kodiert den Zeitstempel des Geräts 18. Mittels der definierten Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer wird der Zeitstempel des Geräts 18 optisch ausgesendet. Die Zeitdauer beträgt im vorliegenden Fall 200 ms. Grundsätzlich kann die Zeitdauer aber auch eine davon, dem Fachmann für geeignet erscheinende abweichende Zeit betragen. Im vorliegenden Fall ist die Zeitdauer bei allen Farbzuständen gleich lang. Die Bilderfassungsvorrichtung 20 erfasst eine Farbe der Farbzustände und die Zeitdauer, für die die Farbzustände emittiert werden. Die Bilderfassungsvorrichtung 20 dekodiert die emittierte Abfolge abwechselnder Farbzustände und ermittelt den Zeitstempel des Geräts 18. Der Zeitstempel des Geräts 18 wird in Abhängigkeit einer Bildfrequenz der Kamera der Bilderfassungsvorrichtung 20 ermittelt. Die definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer wird genauer erfasst, je größer die Bildfrequenz der Kamera ist. Der Zeitstempel des Geräts 18 beginnt, wenn das Gerät 18 einen ersten Farbzustand der definierten Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer aussendet. Eine Erfassung des Zeitstempels des Geräts 18 beginnt, wenn die Bilderfassungsvorrichtung 20 Bilder 34 der Kamera identifiziert, bei denen der erste Farbzustand erkannt wird. Basierend auf der definierten Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer, die von dem Gerät 18 emittiert wird, wird der exakte Zeitstempel des Geräts 18 in der Bilderfassungsvorrichtung 20 berechnet. Mittels des Zeitstempels des Geräts 18 werden die optischen Positionsdaten, die durch die Bilderfassungsvorrichtung 20 ermittelt werden, zu dem Zeitstempel des Geräts 18 synchronisiert.
Die Bilderfassungsvorrichtung 20 erfasst die aktuelle Position des Geräts 18. Mittels zumindest eines Sensormittels der Bilderfassungsvorrichtung 20, insbesondere der Kamera der Bilderfassungsvorrichtung 20, wird die aktuelle Position des Geräts 18 bestimmt. Die Position des Geräts 18 wird relativ zu dem virtuellen Gitter 52 bestimmt. Das virtuelle Gitter 52 wird von der Bilderfassungsvorrichtung 20 erzeugt. Das virtuelle Gitter 52 gibt ein gedachtes Raster auf der Oberfläche 36 wieder. Die optischen Positionsdaten orientieren sich an dem virtuellen Gitter 52. Die optischen Positionsdaten geben die Position des Geräts 18 relativ zu dem virtuellen Gitter 52 an. Die optischen Positionsdaten geben die Position des Geräts 18 auf der Oberfläche 36 an.
Grundsätzlich ist es denkbar, dass das Kalibrierungsobjekt 22 Teil des handgehaltenen Geräts 18 ist oder als das handgehaltene Gerät 18 ausgebildet ist. Dabei könnte der erste Verfahrensschritt 12 grundsätzlich auch in den dritten Verfahrensschritt 16, insbesondere in die Erfassungsphase 94 des dritten Verfahrensschritts 16, integriert werden.
In der Übertragungsphase 96 werden optische Positionsdaten von der Bilderfassungsvorrichtung 20, insbesondere drahtlos, an das Gerät 18 übermittelt. Die optischen Positionsdaten werden im vorliegenden Fall mittels Bluetooth, insbesondere Bluetooth Low Energy, an das Gerät 18 übermittelt. Eine drahtlose Übertragung der optischen Positionsdaten an das Gerät 18 erfolgt alle 20 ms.
In der Vorhersageberechnungsphase 98 werden die an das Gerät 18 übertragenen optischen Positionsdaten zur Vorhersage der Position des Geräts 18 verarbeitet. In der Vorhersageberechnungsphase 98 werden die optischen Positionsdaten, die von der Bilderfassungsvorrichtung 20 ermittelt wurden, und die Bewegungsdaten, die von der inertialen Messeinheit ermittelt wurden, von dem Gerät 18 kombiniert ausgewertet. Die inertiale Messeinheit weist zumindest einen Beschleunigungssensor und zumindest ein Gyroskop auf.
Die Vorhersage wird mittels eines erweiterten Kalman-Filters bestimmt, welcher die Bewegungsdaten und die optischen Positionsdaten verwendet. Die Bewegungsdaten und die optischen Positionsdaten werden mittels des erweiterten Kalman-Filters miteinander fusioniert.
Zur Vorhersage der Position des Geräts 18 wird ein Status
xk = [xk; yk; ẋk; ẏk; ẍk; ÿk φk; ωk] analysiert. k steht dabei für einen Zeitschritt, xk und yk sind unterschiedliche Positionen, xk und yk sind unterschiedliche Geschwindigkeiten, ẍk und ÿk sind unterschiedliche Beschleunigungen, φ ist ein Rotationswinkel und ω ist eine Winkelgeschwindigkeit. Das erweiterte Kalman-Filter basiert auf einem Bewegungsmodell (12) und einem Messmodell (13). $x k + 1 = A k x k + B k u k + q k, q k ~ N (0, Q k)$
$y k + 1 = H k x k + r k, rk~N (0, R k)$
Das erweiterte Kalman-Filter wird zur Datenfusionierung zwischen der inertialen Messeinheit des Geräts 18 und der Kamera der Bilderfassungsvorrichtung 20 genutzt. Das erweiterte Kalman-Filter enthält einen Statusvektor uk = [ẍ_IMU; ÿ_IMU;φ_IMU]. ẍ_IMU und ÿ_IMU beschreiben eine Beschleunigung des Geräts 18 ausgehend von dem zumindest einen Beschleunigungssensor und φ_IMU beschreibt einen Rollwinkel des Geräts 18, wobei eine Berechnung von φ_IMU mittels Formel (14) erfolgt. $φ_{I M U} = φ_{A c c} + ω_{G y r o} T$
Das erweiterte Kalman-Filter enthält einen Messvektor yk = [x_CAM;y_CAM;ω_IMU]. x_CAM und y_CAM beschreiben die Position des Geräts 18 ausgehend von der Kamera und via Bluetooth Low Energy übermittelt und ω_IMU beschreibt eine Rollgeschwindigkeit des Geräts 18, berechnet mittels Formel (15) ausgehend von dem Gyroskop. $ω_{I M U} = ω_{G y r o}$
Eine Vorhersage einer Position des Geräts 18 wird alle 2,5 ms berechnet. Eine Iteration zur Berechnung der Vorhersage wird alle 2,5 ms durchgeführt. In der 10 ist ein Ablaufschema 102 des erweiterten Kalman-Filters dargestellt. In einem ersten Schritt 104 wird das erweiterte Kalman-Filter gestartet. In einem zweiten Schritt 106 werden Bewegungsdaten, insbesondere neue Bewegungsdaten, eingelesen und in einem Zwischenspeicher des Geräts 18 abgespeichert.
Für jede Iteration zur Berechnung der Vorhersage wird in einem dritten Schritt 108 geprüft, ob aktuelle optische Positionsdaten und aktuelle Bewegungsdaten vorliegen.
Für einen Fall 110, in dem keine, insbesondere aktuellen, optischen Positionsdaten vorliegen, sind aktuelle Bewegungsdaten ein einziger Input in das erweiterte Kalman-Filter. In diesem Fall werden in einem alternativen Schritt 112 Bewegungsgleichungen (16) und (17) zur Vorhersage der Position des Geräts 18 genutzt. $x k + 1 = x k + \dot{x} k T + \frac{1}{2} \ddot{x} k T 2$
$\dot{x} k + 1 = \dot{x} k + \ddot{x} k T$
Es werden lediglich aktuelle Bewegungsdaten zur Vorhersage genutzt, wenn keine aktuellen optischen Positionsdaten in dem Gerät 18 vorliegen. Für eine Iteration zur Berechnung der Vorhersage werden lediglich aktuelle Bewegungsdaten genutzt, wenn keine aktuellen optischen Positionsdaten in dem Gerät 18 vorliegen.
Für einen Fall 114, in dem aktuelle optische Positionsdaten vorliegen, wird eine Datenfusionierung durchgeführt. Sobald neue optische Positionsdaten verfügbar sind, sind mehr Daten für die Vorhersage der Position des Geräts 18 vorhanden. Dabei wird das erweiterte Kalman-Filter zur Datenfusionierung genutzt, wobei Bewegungsdaten für die Vorhersage und optische Positionsdaten für ein Datenupdate vorgesehen sind. Dabei muss auf die Synchronisierung der Zeitstempel des Geräts 18 und der Bilderfassungsvorrichtung 20 geachtet werden.
Es wird in einem vierten Schritt 116 nach Bewegungsdaten gesucht, die einen nächsten Zeitstempel zu den optischen Positionsdaten aufweisen. Danach wird die Datenfusionierung von Bewegungsdaten zur Vorhersage und von optischen Positionsdaten zum Datenupdate in einem fünften Schritt 118 durchgeführt.
Durch das Datenupdate erfolgt eine Korrektur. Die optischen Positionsdaten werden für das Datenupdate herangezogen, wobei die optischen Positionsdaten mit einem nächstliegenden Zeitstempel zu den Bewegungsdaten genutzt werden. Die optischen Positionsdaten werden regelmäßig, insbesondere alle 20 ms, zum Datenupdate herangezogen. Dadurch erfolgt eine Aktualisierung einer mittels der Bewegungsdaten alle 2,5 ms vorhergesagten Position des Geräts 18. Nach der Datenfusionierung wird jedoch ein Statusvektor aus der Vergangenheit abgeschätzt. Daher muss zu einem aktuellen Zeitstempel zurückgekehrt werden. Es werden historische Informationen verwendet, um ein Abdriften des Geräts 18 abzuschätzen und um zukünftige Vorhersagen bezüglich des Abdriftens des Geräts 18 zu korrigieren. Optische Positionsdaten und/oder Bewegungsdaten, die keinen aktuellen Zeitstempel aufweisen, sind als historische Informationen ausgebildet. Bereits verarbeitete Daten, insbesondere optische Positionsdaten und/oder Bewegungsdaten, werden in dem Gerät 18 gespeichert und insbesondere nicht gelöscht. In einem sechsten Schritt 120 wird ein Durchschnitt der Bewegungsdaten zwischen dem Zeitstempel der optischen Positionsdaten und dem aktuellen Zeitstempel berechnet. Zur Vorhersage eines neuen Statusvektors werden die Bewegungsgleichungen (16) und (17) zwischen diesen Zeitstempeln in einem siebten Schritt 122 genutzt. Nach Abschluss des alternativen Schritts 112 oder des siebten Schritts 122 erfolgt ein Ende 124 der einzelnen Iteration. Der neue Statusvektor repräsentiert die aktuelle Position des Geräts 18.
In der Ausführungsphase 100 erfolgt ein Medienauftrag, insbesondere Farbauftrag, nach Ermittlung der aktuellen Position des Geräts 18 und mittels Zugriff auf die Nachschlagetabelle. Das Gerät 18 bedruckt die Oberfläche 36 abhängig von Druckdaten. Das Gerät 18 weist eine Farbsprüheinheit auf, die dazu vorgesehen ist, Farbe definiert auf die Oberfläche 36 aufzutragen.

Claims

Kalibrierungsverfahren (10), bei dem in zumindest einem Verfahrensschritt (16) eine Position eines handgehaltenen Geräts (18), welches insbesondere zu einem definierten Farbauftrag auf eine Oberfläche (36) vorgesehen ist, in Echtzeit bestimmt wird, wobei das Gerät (18) mittels einer inertialen Messeinheit des Geräts (18) und mittels einer Kamera einer Bilderfassungsvorrichtung (20) überwacht wird, wobei zu einer Vorhersage einer Position des Geräts (18) optische Positionsdaten, die von der Bilderfassungsvorrichtung (20) ermittelt werden, und Bewegungsdaten, die von der inertialen Messeinheit ermittelt werden, kombiniert ausgewertet werden, dadurch gekennzeichnet, dass das Gerät (18) zumindest ein Leuchtmittel (92) aufweist, welches eine definierte Abfolge abwechselnder Farbzustände vordefinierter Zeitdauer emittiert, wobei die Bilderfassungsvorrichtung (20) die von dem Leuchtmittel (92) emittierten Farbzustände erfasst und auswertet.
Kalibrierungsverfahren (10) nach Anspruch 1, dadurch gekennzeichnet, dass vor einer Vorhersage einer Position des Geräts (18) ein Zeitstempel des Geräts (18) und ein Zeitstempel der Bilderfassungsvorrichtung (20) synchronisiert werden.
Kalibrierungsverfahren (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Zeitstempel des Geräts (18) in Abhängigkeit einer Bildfrequenz der Kamera der Bilderfassungsvorrichtung (20) ermittelt wird.
Kalibrierungsverfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorhersage mittels eines erweiterten Kalman-Filters bestimmt wird, welcher die Bewegungsdaten und die optischen Positionsdaten verwendet.
Kalibrierungsverfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass optische Positionsdaten von der Bilderfassungsvorrichtung (20), insbesondere drahtlos, an das Gerät (18) übermittelt werden.
Kalibrierungsverfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine, insbesondere drahtlose, Übertragung der optischen Positionsdaten an das Gerät (18) alle 20 ms erfolgt, wobei eine Vorhersage einer Position des Geräts (18) alle 2,5 ms berechnet wird.
Kalibrierungsverfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jede Iteration zur Berechnung der Vorhersage geprüft wird, ob aktuelle optische Positionsdaten und aktuelle Bewegungsdaten vorliegen.
Kalibrierungsverfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass lediglich aktuelle Bewegungsdaten zur Vorhersage genutzt werden, wenn keine aktuellen optischen Positionsdaten in dem Gerät (18) vorliegen.
Kalibrierungsverfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass historische Informationen verwendet werden, um ein Abdriften des Geräts (18) abzuschätzen und um zukünftige Vorhersagen bezüglich des Abdriftens des Geräts (18) zu korrigieren.
Kalibrierungsverfahren (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optischen Positionsdaten für ein Datenupdate herangezogen werden, wobei die optischen Positionsdaten mit einem nächstliegenden Zeitstempel zu den Bewegungsdaten genutzt werden.