EP4505210A1

EP4505210A1 - Positionsbestimmung-verfahren bzw. -system für eine positionsbestimmung von gegenständen

Info

Publication number: EP4505210A1
Application number: EP22722170.2A
Authority: EP
Inventors: Thomas Schwarz; Andreas RÖßL
Original assignee: Vusiongroup GmbH; Captana GmbH
Current assignee: Vusiongroup GmbH; Vusiongroup Deutschland GmbH
Priority date: 2022-04-08
Filing date: 2022-04-08
Publication date: 2025-02-12
Also published as: KR20250005139A; AU2022452474A1; US20250218190A1; CN119110907A; WO2023193932A1

Abstract

Verfahren für die Bestimmung der Position von zumindest einem Gegenstand (P1-P6) im Raum (2), insbesondere von zumindest einem in einem Regal (7) positionierten Produkt, wobei das Verfahren aufweist: Ein Aussenden eines Lichtsignals, das mit einer Identifikationsinformation zum Identifizieren des Gegenstands codiert ist, von einer benachbart zu dem Gegenstand positionierten Lichtabgabeeinrichtung (6), und ein Erfassen einer Szene mit Hilfe von zumindest einer frei beweglichen Kamera (10), wobei ein mit Hilfe der Kamera generiertes digitale Szene-Abbild die Szene repräsentiert, und ein Generieren von Gegenstand-Positionsdaten basierend auf einer computerisiert ermittelten Position des in dem digitalen Szene-Abbild auftretenden Lichtsignals in Bezug auf die Kamera und der mit dem Lichtsignal ausgesandten Identifikationsinformation und unter Kenntnis einer automatisiert bestimmten Ausrichtung und Position der Kamera im Raum beim Erfassen der Szene, wobei die Gegenstand-Positionsdaten die Position des Gegenstands in der Szene in Bezug auf den Raum repräsentieren.

Description

Titel

Positionsbestimmung-Verfahren bzw. -System für eine Positionsbestimmung von Gegenständen

Beschreibung

Technisches Feld

Die Erfindung betrifft ein Verfahren und ein System zur Bestimmung der Position von Gegenständen, insbesondere für die Positionserfassung von Produkten.

Hintergrund

Aus der US2021073489A1 ist ein System zur Erfassung der Position einer Vielzahl von Produkten in einem Geschäftslokal bekannt. Das System wie auch das im Zusammenhang mit dem System offenbarte Verfahren hat sich in der Praxis jedoch als äußerst kompliziert, aufwändig und kostenintensiv herausgestellt, weil alle Regale mit einem speziellen Gerät zur Identifikation eines Regals, nämlich einem so genannten „identity information provision apparatus", ausgestattet sein müssen. Dieses spezielle Gerät ist ganz allgemein als ein drahtloser Kommunikationsapparat offenbart, der als separate Einrichtung oder als Bestandteil einer elektronischen Preisanzeige zum Einsatz kommen kann. Dieses Gerät bzw. die damit vermittelte Information zur Identifikation eines Regals muss bei dem Verfahren zwingend erfasst werden.

Die Erfindung hat sich daher die Aufgabe gestellt, die erörterten Probleme bei einem System bzw. dem damit durchgeführten Verfahren zu vermeiden.

Zusammenfassung der Erfindung

Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 gelöst. Der Gegenstand der Erfindung ist daher ein Verfahren für die Bestimmung der Position von zumindest einem Gegenstand im Raum, insbesondere von zumindest einem in einem Regal positionierten Produkt, wobei das Verfahren aufweist ein Aussenden eines Lichtsignals, das mit einer Identifikationsinformation zum Identifizieren des Gegenstands codiert ist, von einer benachbart zu dem Gegenstand positionierten Lichtabgabeeinrichtung, und ein Erfassen einer Szene mit Hilfe von zumindest einer frei beweglichen Kamera, wobei ein mit Hilfe der Kamera generiertes digitale Szene-Abbild die Szene repräsentiert, und ein Generieren von Gegenstand-Positionsdaten basierend auf einer computerisiert ermittelten Position des in dem digitalen Szene-Abbild auftretenden Lichtsignals in Bezug auf die Kamera und der mit dem Lichtsignal ausgesandten Identifikationsinformation und unter Kenntnis einer automatisiert bestimmten Ausrichtung und Position der Kamera im Raum beim Erfassen der Szene, wobei die Gegenstand-Positionsdaten die Position des Gegenstands in der Szene in Bezug auf den Raum repräsentieren.

Diese Aufgab wird weiter durch eine frei bewegliche Einrichtung gemäß dem Anspruch 12 gelöst. Die Erfindung betrifft daher eine frei bewegliche Einrichtung, insbesondere ein Einkaufswagen oder eine Brille oder ein Mobiltelefon oder ein Tablet-Computer, für das Bestimmen der Position von zumindest einem Gegenstand im Raum, insbesondere von zumindest einem in einem Regal positionierten Produkt, wobei diese Position durch ein von einer benachbart zu dem Gegenstand positionierten Lichtabgabeeinrichtung ausgesandtes Lichtsignal, das eine Identifikationsinformation codiert, mit deren Hilfe der Gegenstand identifizierbar ist, angezeigt ist, wobei die Einrichtung zumindest eine Kamera trägt, die zum Generieren eines digitalen Szene-Abbilds einer mit ihr erfassten Szene ausgebildet ist, und wobei die Einrichtung, insbesondere die Kamera, zum computerisierten Ermitteln der Position des in dem digitalen Szene-Abbild auftretenden Lichtsignals in Bezug auf die Kamera und der mit dem Lichtsignal ausgesandten Identifikationsinformation ausgebildet ist, und wobei die Einrichtung, insbesondere die Kamera, dazu ausgebildet ist, eine automatisierte Bestimmung der Ausrichtung und der Position der Kamera im Raum beim Erfassen der Szene zumindest zu unterstützen.

Diese Aufgabe wird weiter durch eine Lichtabgebeinrichtung gemäß dem Anspruch 13 gelöst. Die Erfindung betrifft daher eine Lichtabgabeeinrichtung, insbesondere ein Regaletikett, das zum Anzeigen einer Produkt- und/oder Preisinformation ausgebildet ist, oder ein Produktrenner, der zum Trennen von unterschiedlichen Produkten ausgebildet ist, wobei die Lichtabgabeeinrichtung aufweist: eine Speicherstufe zum Speichern einer Identifikationsinformation, mit deren Hilfe ein Gegenstand, insbesondere ein in einem Regal positioniertes Produkt, identifizierbar ist, in dessen Nachbarschaft die Lichtabgabeeinrichtung positioniert ist, und eine Lichtsignal-Erzeugungsstufe, die zum Codieren eines Lichtsignals gemäß der Identifikationsinformation und zum Abgeben dieses codierten Lichtsignals ausgebildet ist.

Diese Aufgab wird weiter durch ein System gemäß dem Anspruch 14 gelöst. Die Erfindung betrifft daher ein System zum Bestimmen der Position von zumindest einem Gegenstand im Raum, insbesondere von zumindest einem in einem Regal positionierten Produkt, wobei das System aufweist: zumindest eine erfindungsgemäße Lichtabgabeeinrichtung und zumindest eine erfindungsgemäße frei bewegliche Einrichtung.

Mit den erfindungsgemäßen Maßnahmen geht der Vorteil einher, dass ein leistungsfähigeres und kostengünstiger zu realisierendes wie auch zu betreibendes System geschaffen ist, weil im Vergleich zu dem eingangs erörterten System weniger an Regalen fix installierte Geräte, die separat vorzusehen und zu warten sind, nötig sind. Dies betrifft vor allem den Verzicht auf das eingangs erörterte Gerät, das eine Information zum Identifizieren des Regals, an dem es montiert ist, abgibt. Zudem ist ein wesentlich effizienteres Verfahren geschaffen, weil hierbei der volle Fokus auf das ausgesandte Lichtsignal gelegt wird, das ja örtlich korrespondierend zu dem jeweiligen Ort eines Gegenstands bzw. Produkts im Regal lokalisiert ist bzw. seinen Ursprung dort hat und zur Identifikation des Gegenstands geeignet ist. Zudem ist mit der frei beweglichen Kamera eine zeitlich dynamische und ortsvariable Erfassung der jeweils in einem Geschäftslokal vorliegenden Positionierung der Gegenstände ermöglicht. Die Positionserfassung der Gegenstände im Geschäft kommt also völlig ohne eine kamerabasierte Erfassung der Gegenstände selbst oder einer kamerabasierten Erfassung und Auswertung der mit Hilfe der Gegenstände oder eines Regaletiketts vermittelten produktspezifischen Information aus, die z.B. in einer digitalen Aufnahme (digitales Foto oder Video) des Gegenstands oder in einer digitalen Aufnahme eines papierbasierten Regaletikettes oder in einer digitalen Aufnahme eines Bildschirminhalt eines elektronischen Regaletiketts mit großem digitalisierte Verarbeitungsaufwand aufzufinden wäre.

Weitere, besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen sowie der nachfolgenden Beschreibung.

Ganz allgemein ermöglicht die Erfindung es, die Position des Gegenstands basierend auf dem Lichtsignal im Raum eines Geschäftslokals zu bestimmen, also den Gegenstand zu verorten. Um den Gegenstand zu identifizieren, wird die erwähnte Identifikationsinformation benutzt, die mit Hilfe des Lichtsignals kommuniziert wird. Diese Identifikationsinformation wird durch eine vorangehende logische Verknüpfung des Gegenstands mit einer ihm zugeordneten Lichtabgabeeinrichtung erhalten. Konkret geht es bei der logischen Verknüpfung, um das so genannte „Binding". Dabei wird eine eindeutige Identifikation des Gegenstands mit einer eindeutigen Identifikation eines zum Beispiel elektronischen Regalanzeigeetiketts (kurz ESL, im Englischen Electronic Shelf Label) hergestellt. Hierfür wird üblicherweise mit einem manuell zu bedienen Barcodescanner der am Gegenstand abgebildete Barcode und der auf dem Bildschirm des ESLs abgebildete Barcode eingescannt und in einer Datenbank als zusammengehörig hinterlegt. Gleiches gilt im Übrigen auch für einen sogenannten Regal-Trenner bzw. Produkt-Trenner, der in einem Regal unterschiedliche Gegenstände bzw. Produkte oder Produktgruppen voneinander trennt. Der den Trenner eindeutig identifizierende Barcode kann auf einem Etikett des Trenners abgebildet sein oder auch auf einem Bildschirm des Trenners angezeigt werden. Üblicherweise werden in Regalen entweder die ESLs oder die Trenner installiert, wobei jedoch auch gemischte Konfigurationen möglich sind. Demgemäß kann es sich bei der Identifikationsinformationen um eine eindeutige Kennung des ESL bzw. des Trenners handeln oder auch um eine eindeutige Kennung des Produkts handeln. Natürlich kann hier auch eine andere, zum Beispiel eine Meta-Information zum Einsatz kommen, welche die logische Verknüpfung, die beim Binding erstellt wurde, repräsentiert, wobei über diese Meta-Information wieder auf das Produkt oder die Produktgruppe rückgeschlossen werden kann.

Die Lichtabgabeeinrichtung, welche das Lichtsignal abgibt, ist hier also als ESL oder Trenner ausgebildet. Die Lichtabgabeeinrichtung speichert die jeweilige Identifikationsinformation mittels Identifikationsdaten in ihrer Speicherstufe, die z.B. durch ein EEPR.OM realisiert ist. Die Identifikationsdaten können von einer zentralen Datenverarbeitungseinrichtung z.B. per Funk oder auch kabelgebunden an die jeweilige Lichtabgabeeinrichtung übermittelt werden. Die Lichtabgabeeinrichtung weist neben anderen elektronischen Komponenten, welche für die jeweilige Funktionalität nötig sind, eine Lichtsignal- Erzeugungsstufe auf, mit deren Hilfe das codierte Lichtsignal abgebbar ist. Zu diesem Zweck wird das mit Hilfe einer z.B. Leuchtdiode erzeugte Licht gemäß der anzuwendenden (vorab festgelegten) Codierung moduliert. Hierbei kann die Intensität oder auch bei Anwendungen einer RGB-LED auch die Farbe, also die spektrale Charakteristik des Lichts, beeinflusst werden. Das Lichtsignal kann im sichtbaren Spektralbereich des Lichts angesiedelt sein. Bevorzugt wird jedoch der nicht sichtbare Spektralbereich zum Einsatz kommen, um Kunden wie auch Mitarbeiter nicht unnötig mit Lichtsignalen von ihren angestammten Tätigkeiten abzulenken. Das Lichtsignal wird während zumindest einer Zeitspanne ausgesandt, die nötig ist, die gesamten Identifikationsinformation auszusenden. Diese Aussendung kann einmalig oder mehrmalig nacheinander erfolgen, insbesondere nach externer Aufforderung (z.B. durch ein Steuersignal einer zentralen Datenverarbeitungseinrichtung oder die Kamera), oder mehrmalig automatisch, wie etwa gesteuert durch einen internen Timer der Lichtabgabeeinrichtung.

Als Kamera kann eine Standbild-Kamera oder eine Video-Kamera Anwendung finden, die dazu ausgebildet ist, eine zweidimensionale digitale Abbildung der sich in ihrem Erfassungsbereich befindlichen Szene zu erstellen, also ein digitales Szene-Abbild. Unabhängig davon, ob es sich um eine Standbild-Kamera oder um eine Video-Kamera handelt, werden zumindest so viele individuelle Szene-Abbilder oder auch ein ausreichend lange dauerndes Video als Szenen-Abbild erfasst, dass eine Auswertung der Identifikationsinformation, die ja währen einer Zeitspanne auftritt, ermöglich ist. Es wird also bei der Bemessung der minimalen Dauer der Erfassung jener Zeitbereich berücksichtigt, der zumindest für das Aussenden der Identifikationsinformation nötig ist. Bei einem Lichtsignal, bei dem die Identifikationsinformation über eine Zeitperiode hinweg codiert ist, werden im Falle einer Standbild-Kamera daher beispielsweise zumindest so viele Bilder innerhalb der für die Aussendung vorgesehenen Zeitperiode erfasst, dass die Identifikationsinformation aus den Veränderungen des Lichtsignals im Szene- Abbild problemlos ermittelbar ist.

Die reale Szene, die von der Kamera erfasst wird, umfasst die sich in der Szene befindlichen Gegenstände bzw. Objekte sowie ggf. auch deren zeitliche bzw. örtliche Veränderung.

Bei dem digitalen Szene-Abbild handelt es sich um die optische Abbildung der realen Szene über die Optik (eine Linsenoptik, auch Objektiv) der Kamera auf die digitale Bilderfassungseinheit der Kamera, wofür üblicherweise ein sogenanntes CCD zum Einsatz kommt, wobei CCD für „charge-coupled device" steht und damit die Abbildung der Szene darauf digitalisiert wird. Das Szene-Abbild wird also auf eine Pixel-Matrix dieser Bilderfassungseinheit abgebildet.

Bei dem digitalen Szene-Abbild handelt es sich also um eine zweidimensionale Datenstruktur, die durch die Matrix von Bildpunkten des CCD gewonnen wird. Je nach Ausführung des elektronischen Sensors wie auch der nachverarbeitenden weiteren Kameraelektronik wird so ein das digitale Szene-Abbild bildendes digitales Standbild oder auch eine digitale Videosequenz der Szene generiert. Die Auflösung des elektronischen Bildsensor und/oder die digitale Nachverarbeitung definiert die Bildauflösung (Gesamtzahl der Bildpunkte oder die Anzahl der Spalten (Breite) und Zeilen (Höhe) einer Raste rgrafik) des digitalen Szene-Abbilds. Das so zur weiteren Verarbeitung von der Kamera generierte digitale Szene-Abbild ist also durch eine Matrix aus Bildpunkten gebildet, also z.B. 1500 Bildpunkte in x-Richtung und orthogonal dazu 1000 Bildpunkte in y-Richtung. Jeder dieser Bildpunkte hat eine definierte (also bekannte) Bildpunktabmessung (oder anders ausgedrückt, das Zentrum benachbarter Bildpunkte weist einen definierten (also bekannten) Bildpunktabstand auf.

Bei dem computerisierten Ermitteln der Identifikationsinformation wird in der digitalen Szene-Abbildung zunächst nach dem Lichtsignal gesucht. Dies ist relativ einfach aufzufinden, weil das Lichtsignal sich grundsätzlich von dem sonst eher dunklen Hintergrund des digitalen Szene-Abbilds unterscheidet. Hierfür können beispielsweise Bildpunkte dieses digitalen Szene-Abbilds auf eine charakteristische Farbe oder auf eine charakteristische Intensität bzw. Helligkeit geprüft werden. Auch kann zur Suche des Lichtsignals seine gemäß der Codierung zu erwartende zeitliche Farbänderung oder auch helligkeits- bzw. Intensitätsänderung genutzt werden. Sobald ein solches Lichtsignal gefunden wurde, erfolgt ein Analysieren der zeitlichen Veränderung (Modulation) eines Lichtsignalparameters unter Kenntnis eines beim Aussenden des Lichtsignals zur Anwendung gekommenen Codierungsschemas, um daraus die Identifikationsinformation zu decodieren.

Für die weitere Verarbeitung des Lichtsignals wird die Position des gefundenen Lichtsignals in dem digitalen Szene-Abbild, also die Pixel- Koordinaten, und auch eine Datenrepräsentation der ermittelten Identifikationsinformation als zusammengehörig gespeichert.

Durch das Erfassen des digitalen Szene-Abbilds mit einer frei beweglichen Kamera, entstehen über die Zeit hinweg unterschiedliche digitale Szene-Abbilder der realen Szene bzw. der Umgebung der Kamera aus Positionen und mit unterschiedlichen Ausrichtungen, die alle für sich oder im zeitlichen wie auch räumlichen Kontext miteinander ausgewertet werden können, um die Position eines, bevorzugt jedoch mehrer Gegenstände, zu bestimmen.

In dem System, das bevorzugt in einem Supermarkt zum Einsatz kommt, kommen entsprechend der Größen Anzahl von unterschiedlichen Produkten typischerweise relativ viele Lichtabgabeeinrichtungen zum Einsatz. In der maximalen Ausbaustufe werden dies zumindest so viele Stück der Lichtabgabeeinrichtungen sein, wie es Produkte bzw. Produktgruppen im betreffenden Geschäft gibt. Die Bestimmung der Position der Produkte oder der Produktgruppen erfolgt in einem solchen System vollständig aufbauend auf der Positionsbestimmung der Lichtsignale und ihrer Identifikation mit Hilfe der Identifikationsinformation in den digitalen Szene-Abbildern, die im Laufe der Zeit mit Hilfe der beweglichen bzw. sich im Geschäftslokal bewegenden Kamera erhalten werden. Das mittels der Identifikationsinformation in dem jeweiligen digitalen Szene-Abbild eindeutig identifizierbare Lichtsignal erlaubt die Zuordnung eines realen Gegenstands, der per Definition in der Nähe der Lichtabgabeeinrichtung in einem Raum positionier ist. Um den Gegenstand im Raum (wie beispielsweise einem Geschäftslokal) zu verorten, von welchem Raum mit Hilfe der Kamera eine oder mehrere digitale Szene-Abbilder erfasst wurden, also um die Gegenstand-Positionsdaten bezogen auf den Raum zu erhalten, wird zunächst die Position des jeweiligen Lichtsignals in Bezug auf die Kamera (das Kamera-Koordinatensystem) ermittelt und anschließend in das Koordinatensystem des Raums (das Raum-Koordinatensystem) transformiert, das seinen Ursprung an einem definierten Ort des Raums hat und dort mit einer definierten Orientierung verortet ist.

Nachfolgend ist auf die verschiedenen Aspekte dieser Generierung der Gegenstand-Positionsdaten eingegangen.

Gemäß einem Aspekt der Erfindung kann nur eine einzige frei bewegliche Kamera zum Einsatz kommen, die z.B. von einem Mitarbeiter durch den Raum, wie etwa das Geschäftslokal getragen wird. Bevorzugt wird das Verfahren unter Zuhilfenahme von mehreren voneinander unabhängig bewegten Kameras durchgeführt. Diese Kameras können unabhängig voneinander durch die Mitarbeiter des Geschäfts bewegt werden, was den Erfassungsprozess bei der Erfassung der verschiedene Szene-Abbilder im gesamten Raumbereich beschleunigt.

Um einen möglichst großen Raumbereich pro Kamera zu erfassen, kann hierfür ein sogenanntes Fischaugenobjektiv zum Einsatz kommen. Natürlich kann auch die Linse oder das Objektiv selbst beweglich, also in Bezug auf die Kamera verschwenkbar ausgebildet sein. Alternativ kann auch die Kamera gegenüber der frei beweglichen Einrichtung verschwenkt werden. Alternativ kann auch eine omnidirektionale Kamera zum Einsatz kommen.

Zum Zweck der Bewegung der Kamera können die Mitarbeiter mit z.B. einer (Schutz-)Brille ausgerüstet werden, an der die jeweilige Kamera angebracht ist. Allerdings hat es sich jedoch als besonders vorteilhaft erwiesen, wenn die frei bewegliche Kamera an einem Einkaufswagen angebracht ist. Damit geht der Vorteil einher, dass die Anzahl der bilderfassenden Kameras nicht mehr auf die Anzahl der sich im Geschäft bewegenden Mitarbeiter beschränkt ist, sondern die individuellen Bewegungen der die Anzahl der Mitarbeiter üblicherweise bei weitem übersteigende Anzahl der Kunden zur Bilderfassung genutzt werden. Die Kunden bewegen hierbei einen Schwarm der bilderfassenden Kameras in den Räumlichkeiten des Geschäftslokals. Mit dem Involvieren der Kunden geht zudem der Vorteil einher, dass aus der Bilderfassung jene Geschäftszonen ermittelt werden können, in denen Produkte eine erhöhte Kundenaufmerksamkeit erwecken oder wo auch tatsächlich von den Kunden Produkte aus den Regalen entnommen werden, weil auf Grundlage der erfassten Szenen festzustellen ist, dass diese Geschäftszonen häufiger vorkommen oder weil dort länger verweilt wird. Daraus können wichtige Erkenntnisse für die Lagerhaltung, Bestandserfassung, die Planung der Regalversorgung mit Waren, wie auch für das Zielgruppenmarketing oder produktspezifische Marketing gewonnen werden.

Unabhängig davon, ob es sich nun bei der frei beweglichen Einrichtung um eine Brille oder dergleichen oder um einen Einkaufswagen handelt, hat es ich als besonders vorteilhaft erwiesen, wenn mehrere Kameras an der frei beweglichen Einrichtung vorgesehen sind, die gemeinsam miteinander, also gruppiert, mit dieser frei beweglichen Einrichtung bewegt werden und aus unterschiedlichen Erfassungspositionen heraus und/oder mit unterschiedlichen Erfassungsorientierungen individuelle digitale Szene- Abbilder generieren. Dies ermöglicht es, dass an der jeweiligen Position, an der sich die freibewegliche Einrichtung gerade befindet, mit jeder Kamera digitale Szene-Abbilder von unterschiedlichen Szenen generiert werden können. So können in einem Regalgang durchaus tatsächlich simultan die den Regalgang begrenzenden Regale zur linken und rechten Seite des Regalgangs erfasst werden, wenn z.B. in Bezug auf die Fahrtrichtung des Einkaufswagens eine der Kameras nach links und die andere Kamera nach rechts ausgerichtet ist, also ihr jeweiliger Erfassungsbereich dorthin gerichtet ist, wo sich die Regale neben dem Einkaufswagen befinden. Gleiches gilt natürlich auch für die erwähnte Brille. Um auch die problemlose, also zuverlässige Erfassung der vollen Höhe von Regalen sicherzustellen, können, insbesondere bei einem Einkaufswagen, mehrere individuelle Kameras an einer oder jeder der Seiten vorgesehen sein. Diese können bei einem Einkaufswagen übereinander angeordnet, z.B. an einer Stange, montiert sein oder auch unterschiedlich orientiert sein, also einen oberen Regalbereich, einen mittleren Regalbereich und einen unteren Regalbereich erfassen. Auch bei einer Brille können die zu einer der Seiten hin orientierten Kameras unterschiedliche übereinander angeordnete Erfassungsbereiche aufweisen, die einen gesamten Bildbereich vom untersten Regalboden bis hin zum obersten Regalboden erfassen. Optional können natürlich auch Weitwinkelkameras zum Einsatz kommen, um denselben oder einen ähnlichen Gesamt-Erfassungsbereich abzudecken. Auch können die individuellen Erfassungsbereiche überlappen. Die ESLs oder die Trenner, welche die Lichtabgabeeinrichtung bilden, werden oft mittels Batterie betrieben. Daher hat es ich als besonders vorteilhaft erwiesen, wenn ein mit der zumindest einen frei beweglichen Kamera mitbewegter Steuersignalsender ein Steuersignal, insbesondere ein funkbasiertes Steuersignal, abgibt und die sich im Empfangsbereich des Steuersignals befindliche Lichtabgabeeinrichtung, die mit einem Empfänger ausgerüstet zum Empfangen des Steuersignals ausgebildet ist, nur bei einem Empfang des Steuersignals das Lichtsignal aussendet. Zum Empfang des Steuersignals ist ein relativ einfacher Empfänger nötig, der ggf. auch eine eindeutige Kennung des Steuersignals auswerten kann, um nicht auf andere Funksignale zu reagieren. Damit lässt sich die Lichtabgabe durch verschiedenste Lichtabgabeeinrichtungen auf einen abgegrenzten Raumbereich um den Steuersignalsender beschränken. So kann z.B. eine Reichweite des Steuersignals von fünf bis zehn Metern bereits ausreichend sein, um nur die in der Umgebung der zumindest einen Kamera positionierten Lichtsignal-Erzeugungsstufen zum Abgeben des jeweiligen Lichtsignals zu aktivieren. Die Reichweite des Steuersignals sollte so bemessen sein, dass der Erfassungsbereich der Kamera optimal ausgenützt werden kann. Es sollen also zumindest jene Lichtsignal-Erzeugungsstufen aktiv sein, deren Lichtsignal unter vernünftiger Annahme von der Kamera erfassbar ist. Damit geht der Vorteil einher, das andere Lichtsignal-Erzeugungsstufen inaktiv bleiben können, was einen positiven Einfluss auf den Energiehaushalt der jeweiligen Lichtabgabeeinrichtung, insbesondere auch auf den Energiehaushalt im gesamten System hat.

Hierfür kann beispielsweise eine Funktechnik verwendet werden, bei der das ausgesendete Steuersignal durch die oft metallisch aufgebauten Regale zumindest teilweise abgeschirmt wird, sodass hauptsächlich jene Lichtabgabeeinrichtungen, die sich im selben Regalgang, wie die frei bewegliche Einrichtung befindet, das Steuersignal empfangen können.

Anstatt der Verwendung des funktechnischen Steuersignals oder zusätzlich zur Verwendung des funktechnischen Steuersignals kann die Lichtabgabeeinrichtung dazu ausgebildet sein, nur dann das Lichtsignal auszusenden, wenn bestimmte (zeitabhängige) Kriterien erfüllt sind. Zur Anwendung der Kriterien weist die Lichtabgabeeinrichtung eine Timing- Steuerstufe auf, die zum Steuern des zeitlichen Verhaltes, also der Aktivitäts- bzw. der Inaktivitätsphase(n) der Lichtsignal-Erzeugungsstufe ausgebildet ist. Die Lichtsignal-Erzeugungsstufe ist natürlich steuerbar durch die Timing- Steuerstufe ausgebildet und lässt sich durch diese ansteuern.

Die Timing-Steuerstufe kann beispielsweise Zeitdaten, die Informationen zur aktuellen Zeit beinhalten empfangen und/oder einen Taktgeber aufweisen, womit die Timing-Steuerstufe die aktuelle Zeit bzw. das aktuelle Datum ermittelt. Diese Informationen können jedoch auch auf andere Weise wie z.B. eine im System global verfügbaren System-Takt oder eine System-Zeit bzw. ein System-Datum erhalten werden.

Die Kriterien können beispielsweise beinhalten, dass das Lichtsignal nur dann ausgesandt wird, wenn es nicht bereits zuvor innerhalb einer bestimmten Zeitperiode ausgesendet wurde. Die Kriterien können beispielsweise aber auch beinhalten, dass die Lichtsignalabgabe nur innerhalb eines bestimmten Zeitbereichs stattfinden darf. Dieser Zeitbereich kann beispielsweise ein oder mehrere fix vordefinierte Zeitfenster währen eines Tages oder während einer Woche oder eines Monats beinhalten. So kann das System beispielsweise derart eingestellt sein, dass nur an bestimmten Wochentagen Lichtsignale ausgesendet werden. So kann beispielsweise einmal in der Woche das gesamte Geschäftslokal erfasst werden, um die konsistente Positionierung der Produkte zu überprüfen. Auch kann die Lichtsignalabgabe in unterschiedlichen Regalgängen im Geschäftslokal unterschiedlichen Tagen der Woche zugeordnet sein, sodass nahe beisammen liegende Gänge nicht zeitglich Lichtsignale aussenden. Auch bei der Verwendung der Brille kann beispielsweise das Kriterium derart definiert sein, dass das Lichtsignal nur innerhalb jener Zeitperiode ausgesendet wird, in der die Mitarbeiter üblicherweise, also vorhersehbar, mit der Brille durch das Geschäftslokal gehen, um dieses z.B. für den Betrieb am nächsten Tag vorzubereiten.

Als besonders vorteilhaft hat sich das Verfahren erwiesen, wenn das Ermitteln der Position in Bezug auf die Kamera ein automatisches Bestimmen eines aus dem digitalen Szene-Abbild ableitbaren Maßstab aufweist, wobei der Maßstab unter Kenntnis der realen Abmessung eines in dem digitalen Szene- Abbild identifizierten Referenzobjekts, insbesondere ausgebildet als elektronisches Regaletikett, bestimmt wird und der Maßstab für die Umrechnung zwischen Positionsangaben bzw. Abmessungen, die in dem digitalen Szene-Abbild ermittelt werden, und Positionsangaben bzw. Abmessungen in der mit Hilfe der Kamera erfassten Szene dient.

Hierfür kann ein in dem Szene-Abbild enthaltenes Referenzobjekte, bevorzugt identisch ausgebildete Referenzobjekte, identifiziert werden, wobei die tatsächlichen Abmessungen bekannt sind und unter Kenntnis der tatsächlichen Abmessungen der Maßstab für das Szene-Abbild bestimmt wird.

Besonders bevorzugt handelt es sich im Kontext der vorliegenden Erfindung bei dem Referenzobjekt jedoch um die Lichtabgabeeinrichtung selbst, die als ESL oder Trenner mit üblicherweise definierten, also vorbekannten Abmessungen realisiert ist. Diese Referenzobjekte lassen sich aufgrund der ihnen „innewohnenden" Lichtsignal, die ja von ihnen ausgesandt werden, in dem digitalen Szene-Abbild einfach auffinden, also lokalisieren bzw. abgrenzen und in weiterer Folge zur Maßstabsbestimmung analysieren. Zum Identifizieren bzw. Auffinden des Referenzobjekts im digitalen Szene- Abbild kann eine Mustererkennung herangezogen werden, die das digitale Szene-Abbild auf die charakteristische Erscheinung (wie etwa rechteckig oder quadratisch oder auch Proportionen) des Referenzobjekts untersucht. Ausgangspunkt für die Suche nach dem oder den Referenzobjekt(en) ist jedenfalls das Lichtsignal, das üblicherweise von den Referenzobjekten ausgesandt wird und dieses daher in dem digitalen Szene-Abbild besonders leicht auffindbar macht.

Bei dem Referenzobjekt kann es sich jedoch auch um ein „zusammengesetztes" Referenzobjekt handeln, das sich durch eine Ansammlung von Lichtsignalen von verschiedenen Lichtabgabeeinrichtungen zusammensetzen. So können beispielsweise auch die Lichtsignale zweier Lichtsignalabgabeeinrichtungen, die an unterschiedlichen Regalböden im Wesentlichen genau übereinander positioniert sind, ein solches „zusammengesetztes" Referenzobjekt bilden, wobei in dieser Situation der Abstand zwischen den Regalböden die bekannte reale Abmessung ist, die zur Bestimmung des Maßstabs benutzt wird.

Wie bereits angeklungen, findet die gegenständliche Erfindung ihre bevorzugte Anwendung im Einzelhandel. Im Einzelhandel kann ein solches Referenzobjekt vielfältige Ausprägungen haben. Es kann sich beispielsweise um ein ganzes Regal handeln, von dem z.B. die Länge und Höhe genau bekannt ist. Die Nutzung des Regals kann deshalb von Vorteil sein, weil es in einem Szene-Abbild oft eine dominierende Rolle annimmt. Aber auch kleinere Gegenstände, wie etwa eine Regalleiste, die einen vorderen Abschluss eines Regalbodens bildet, kann als Referenzobjekt zum Einsatz kommen. Auch Warenkörbe, die zur Präsentation von Waren im Geschäftslokal aufgestellt sind, eignen sich dafür, vorausgesetzt sie sind im Erfassungsbereich der jeweiligen Kamera positioniert. Jedoch werden im Einzelhandel Regale oder Regalleisten wie auch Warenkörbe oftmals von unterschiedlichsten Herstellern mit verschiedensten Abmessungen für die jeweiligen Geschäftslokale verschiedenster Einzelhändler, oft auch unter speziellen baulichen Vorgaben der Einzelhändler, bereitgestellt. Daher eignen sie sich nur in einem sehr engen Anwendungsfall als Referenzobjekte.

Die Verwendung eines elektronischen Regaletiketts als das Referenzobjekt ist weiterhin deshalb so vorteilhaft, weil für solche elektronischen Regaletiketten im Wesentlichen einheitliche Abmessungen vorliegen. Natürlich existieren elektronische Regaletiketten in unterschiedlichsten, durchaus stark variierenden Abmessungen. In der Praxis hat sich jedoch gezeigt, dass die zur Anwendung kommenden Abmessungen kaum oder nur in einem vordefinierten Bereich zwischen unterschiedlichen Geschäftslokalen oder auch unterschiedlichen Einzelhändlern variieren. Dies gilt insbesondere für die Vielzahl der elektronischen Regaletiketten, die in einem einzigen Geschäftslokal an einer Regalschiene bzw. den Regalschienen dieses Regals verbaut sind und von einem einzigen Hersteller stammen, was üblicherweise der Fall ist. Solche elektronischen Regaletiketten kommen an einem Regal üblicherweise nur in eine bis zwei (vielleicht auch drei) unterschiedlichen Abmessungen vor. Da jedes dieser elektronischen Regaletiketten in dieselbe Regalschiene passen muss, unterscheiden sie sich in ihren Abmessungen bzw. Dimensionen oft nur um die Breite, wohingegen die Höhe oft für z.B. zwei unterschiedliche Typen der elektronischen Regaletiketten identisch ist. Jedoch können auch umgekehrte Verhältnisse vorliegen. Ihre tatsächlichen Abmessungen sind also im Wesentlichen als homogen über unterschiedliche Typen der Regaletiketten hinweg wie auch über die Installationsorte hinweg einzustufen.

Weiterhin hat sich die Wahl von elektronischen Regaletiketten als Referenzobjekt aus einem weiteren Grund als besonders vorteilhaft erwiesen. Anders als bei den Regalen selbst oder auch den Regalleisten usw. sind Regaletiketten immer an der vordersten Front eines Regals angebracht und somit in dem mit der Kamera erfassten Szene-Abbild problemlos und eindeutig mittels digitaler Bildverarbeitung zu identifizieren und daher auch zuverlässig zu analysieren.

Die Grundlage der Maßstabsermittlung bildet das Zähle der relevanten Bildpunkte, die dem Referenzobjekt zugeordnet sind. Die so ermittelten Pixel-Anzahl lässt sich mit der realen Fläche oder der realen Länge eines Referenzobjekts in Verhältnis setzen, wodurch ein Skalieren aus dem Pixel-System des CCD Sensors in die reale Szene ermöglicht ist. Auch kann bei der Maßstabsbestimmung die Kenntnis der genauen physikalischen Parameter des CCD Sensors zum Einsatz kommen, demzufolge die tatsächlichen Abstände der Bildpunkte Pixel-Matrix oder auch deren Größe genau bekannt sind. So kann aus den gezählten Pixeln auf ein tatsächliches Längen- oder Flächen-Maß für das auf den CCD Sensor abgebildete Referenzobjekt umgerechnet werden, daraus der vorliegende Maßstab berechnet werden, und dann zwischen Längen- und Flächen-Maßen einer Abbildung am CCD Sensor und der realen Szene skaliert werden.

Im Konkreten kann die Ermittlung jener der Abbildung des Referenzobjekt zugeordneten Bildpunkte in dem Szene-Abbild, also der Bildpunkte der Referenzobjekt-Abbildung, unter Verwendung von zumindest einer der nachfolgend angeführten Maßnahmen erfolgen, nämlich:

- Ermittlung der Anzahl der durch das die Abbildung des Referenzobjekts flächenhaft belegten Bildpunkte. Damit lässt sich durch Zählen der Bildpunkte die durch das Referenzobjekt-Abbild okkupierte Fläche (Flächeninhalt als Summe der gezählten Bildpunkte angeben oder Flächeninhalt als durch die Gesamt-Bildpunktfläche der gezählten Bildpunkte angeben) im Szene-Abbild ermitteln und unter Kenntnis des tatsächlichen Flächeninhalts des Referenzobjekts (z.B. Flächeninhalt der Frontfläche des Referenzobjekts angegeben in Quadratmillimeter) der Maßstab berechnen.

- Ermittlung der Anzahl der durch das Referenzobjekt-Abbild umfangsseitig belegten Bildpunkte oder der Anzahl der das Referenzobjekt-Abbild umfangsseitig einfassenden Bildpunkte. Es wird also der Umfang des Referenzobjekt- Abbilds im Szene-Abbild durch Zählen der Bildpunkte entweder auf Grundlage der randseitig gerade noch durch das Referenzobjekt- Abbild belegten Bildpunkte oder auf Grundlage der an das Referenzobjekt-Abbild unmittelbar angrenzenden Bildpunkte ermittelt. Unter Kenntnis des tatsächlichen Umfangs des Referenzobjekts (z.B. der Umfang der Frontseite des Referenzobjekts) lässt sich der Maßstab berechnen.

- Ermittlung der Anzahl der durch das Referenzobjekt-Abbild entlang einer seiner Begrenzungslinien belegten Bildpunkte oder der Anzahl der das Referenzobjekt- Abbild benachbart einer seiner Begrenzungslinien einfassenden Bildpunkte. Es wird also die Länge einer Randlinie als Grundlage für die Maßstabsermittlung verwendet. Dabei kann es sich insbesondere um eine gerade verlaufende Randlinie handeln, wie etwa eine Seite einer rechteckigen oder quadratischen Struktur des Referenzobjekts, die z.B. durch Gehäusekanten gegeben sein kann. Es erfolgt also ein Zählen von entweder entlang einer solchen Begrenzungslinie belegten Bildpunkten oder ein Zählen der das Referenzobjekt-Abbild benachbart einer seiner Begrenzungslinien einfassenden Bildpunkte. Unter Kenntnis der tatsächlichen Länge der Begrenzungslinie des Referenzobjekts lässt sich der Maßstab errechnen.

Mit den beschriebenen Maßnahmen kann jedoch auch ein Maßstab definiert werden, der entlang des Szene-Abbilds skaliert, also ein Maßstab definiert werden, der vom Ort im Szene-Abbild abhängig ist. Dieser ortsabhängige Maßstab kann dann nötig sein, wenn z.B. das Szene-Abbild eine die Proportionen der dort abgebildeten Referenzobjekte verzerrt. Eine solche Situation kann beispielsweise eintreten, wenn mit Hilfe der Kamera eine sich weit zur linken oder rechten Seite der Kamera erstreckende Szene aufgenommen wird, was beispielsweise bei Regalgängen in Einzelhandelsunternehmen bei ungünstiger Orientierung der Kamera passieren kann. Die Referenzobjekte, die sich in der Nähe der Kamera befinden, werden dann größer abgebildet als Referenzobjekte, die in weiterer Entfernung von der Kamera positioniert sind.

Im Zusammenhang mit solchen perspektivischen Abbildungen könnte auch realisiert sein, den Verlauf des Maßstabs entlang des Szene- Abbilds aus der Verzerrung eines einzelnen Referenzobjekts abzuleiten. Ist jedoch die Länge dieses Referenzobjekts entlang der zu bewertenden Perspektive relativ kurz und liegen ungünstiger Weise auch nur wenige dem Referenzobjekt zugeordnete Bildpunkte vor, kann dies oft nur zu einem verbesserungsfähigen Ergebnis führen. Bevorzugt kommen daher mehrere solcher Referenzobjekte zur Anwendung, die idealerweise entlang der perspektivischen Abbildung halbwegs gleichmäßig verteilt auftreten, was bei ESLs oft der Fall ist, um die den ortsabhängigen Maßstab beschreibende Funktion möglichst genau definieren zu können. Ein solcher Maßstab wird auch als Metrik bezeichnet.

Auf Grundlage der Gesamtheit der in dem digitalen Szene-Abbild erkannten Lichtsignale kann unter Anwendung des Maßstabs für das Szene- Abbild eine erste Datenstruktur generiert, die eine zweidimensionale digitale Karte der Lichtsignale in der realen Szene unter Angabe der für die zweidimensionale Kartographie nötigen tatsächlichen Maßangabe(n) (z.B. in Millimeter gemessen) repräsentiert. Hierfür können z.B. nur verkette Maßangaben (also relative Maßangaben zwischen benachbarten Lichtsignalen) erstellt werden, um die Positionen der Lichtsignale festzulegen. Auch können absolute Maßangaben gemessen von einem Bezugspunkt in dem Szene-Abbild erstellt werden. Diese so erhaltene zweidimensionale Karte, die digital gespeichert vorliegt, wird in weiterer Folge genutzt, um sie in einen dreidimensionalen Kontext in Bezug auf die Kamera zu setzen worauf nachfolgend noch eingegangen ist.

Gemäß diesem Aspekt weist das Ermitteln der Position in Bezug auf die Kamera ein automatisches Bestimmen des Abstands zwischen der Kamera und der mit ihr erfassten Szene auf. Damit lassen sich die im digitalen Szene- Abbild identifizierten Lichtsignale dreidimensional in Bezug auf die Kamera, also im Kamera-Koordinatensystem verorten. Es wird also die in der Szene bereits bekannte zweidimensionale Verortung der Lichtsignale um eine dritte Koordinate erweitert.

Die Entfernung kann in einer im Wesentlichen bekannten räumlichen Anordnung, wie etwa einem Regalgang, also mit etwa der halben Gangbreite geschätzt werden. Auch kann diese Entfernung mit der sogenannten Linsengleichung gut eingegrenzt werden, weil ja der Maßstab bzw. die Metrik mit Hilfe des in dem digitalen Szenen-Abbild aufgefundenen Referenzobjekts, dessen Abmessung sehr genau bekannt sind, mit guter Genauigkeit definierbar ist. Es lässt sich also die Entfernung zwischen der Kamera und der jeweiligen lichtaussendenden Lichtabgabeeinrichtung durch automatische Berechnung unter Kenntnis der Parameter des optischen Abbildungssystems der Kamera ermitteln. Dies kann z.B. durch den Computer der Kamera vollautomatisch erfolgen, weil dieser die Parameter des optischen Abbildungssystems aus seinem Speicher beziehen kann, wo sie vorab einprogrammiert wurden (z.B. bei der Herstellung der Kamera oder bei der Inbetriebnahme), und weil der Computer ja die tatsächlichen Abmessungen des Referenzobjekts kennt, die ebenfalls verfügbar ist, wie z.B. vorab einprogrammiert wurde. So lässt sich beispielhaft unter Nutzung der allgemein bekannten Linsengleichung der Abstand der Kamera zum realen Objekt, von dem aus das Lichtsignal ausgesandt wird, also letztendlich der Abstand zur Lichtsignalquelle, in der Szene berechnen, wobei hierbei natürlich die dem tatsächlichen Objektiv der Kamera entsprechende Abbildungsfunktion anzuwenden ist. Somit lassen sich die Positionen der Lichtsignale im räumlichen Kontext des Kamera-Koordinatensystem ermitteln. Erwähnt sei hier auch, dass sich der Abstand zwischen der Kamera und der Lichtabgabeeinrichtung auch durch eine automatische Bestimmung mittels eines Entfernungssensors, wobei hierfür z.B. ein LIDAR-Sensor oder ähnliches zur Anwendung kommen kann, bestimmen lässt. Damit sind präzise direkte Abstandmessungen möglich, wobei der Computer der Kamera die vom LIDAR- Sensor übermittelten Daten weiterverarbeitet um die dritte Koordinate im räumlichen Kontext des Kamera-Koordinatensystems zu erhalten. Zudem sei noch erwähnt, dass auch sogenannte „Time of Flight" Sensoren zum Einsatz kommen können, um diese Abstandmessung zu automatisieren.

Da dieses Kamera-Koordinatensystem seine Position und Orientierung entsprechend der Kamerabewegung im Raum verändert, gleichzeitig aber auch die Position der Lichtabgabeeinrichtung im Raum unverändert ist, weisen die im Kamera-Koordinatensystem für eine bestimmte Lichtabgabeeinrichtung berechneten dreidimensionalen Koordinatenangaben eine Veränderlichkeit bzw. Dynamik auf, die durch die Bewegung der Kamera vorgeben ist.

Gemäß einem weiteren Aspekt hat es ich als vorteilhaft erwiesen, wenn der Verfahrensschritt des Aussendens des Lichtsignals im Wesentlichen gleichzeitig durch mehrere Lichtabgabeeinrichtungen durchgeführt wird, und wobei der Verfahrensschritt des computerisierten Ermittelns der Position des in dem digitalen Szene-Abbild auftretenden Lichtsignals in Bezug auf die Kamera und der mit dem Lichtsignal ausgesandten Identifikationsinformation für die Gesamtheit der in dem digitalen Szene-Abbild auftretenden Lichtsignale durchgeführt wird. Damit geht der Vorteil einher, dass die Vielzahl der in einem Szene-Abbild enthaltenen Lichtsignale kollektiv genutzt wird, um so die Positionsbestimmung für die Vielzahl der Lichtsignale in einem einzigen Erfassungsgericht der Karners durchzuführen. Dies beschleunigt und optimiert den Positionsbestimmungsprozess.

Nach dem Erhalt der dreidimensionalen Positionsdaten der Lichtsignale im Kamera-Koordinatensystem werden diese in das Raum- Koordinatensystem des Raums transformiert, um so zu den Gegenstand- Positionsdaten zu gelange, weil ja jedes Lichtsignal einen Gegenstand identifiziert, der zum Ort des Aussendens des Lichtsignals benachbart ist. Dabei werden gemäß einem weiteren Aspekt des Verfahrens für die Generierung der Gegenstand-Positionsdaten Ergänzungsdaten berücksichtigt, welche zumindest eine der nachfolgend angeführten Art von Daten aufweisen, nämlich:

- Orientierungsdaten, welch die Orientierung der Kamera in Bezug auf eine Bezugsorientierung im Raum beschreiben;

- Neigungsdaten, welche die Neigung der Kamera in Bezug auf eine Bezugsebene im Raum beschreiben;

- Positionsdaten, welche die Position der Kamera in Bezug auf einen Bezugspunkt im Raum beschreiben.

Diese Ergänzungsdaten können mit Hilfe unterschiedlichster Sensoren generiert werden, die an der Kamera oder der frei beweglichen Einrichtung, wie z.B. dem Einkaufswagen oder der Brille existierten, worauf nachfolgend eingegangen ist.

Die Orientierung der Kamera im Raum-Koordinatensystems kann durch eine automatische Bestimmung mittels eines Orientierungssensors erfolgen, wobei hierfür z.B. ein elektronischer Kompass eingesetzt werden kann und ein Computer der Kamera die vom elektronischen Kompass übermittelten Daten weiterverarbeitet bzw. diese Daten für die Umrechnung zwischen den Koordinatensystemen bereitstellt. Weiterhin kann als Bestandteil der Orientierung auch die durch Neigungsdaten repräsentierte Neigung der Kamera bezogen auf die Horizontale verstanden werden. Sie kann durch eine automatische Bestimmung mittels eines Neigungssensors erfasst werden, wobei hierfür z.B. ein elektronisches Gyroskop eingesetzt werden kann und der Computer der Kamera die vom elektronischen Gyroskop übermittelten Daten weiterverarbeitet bzw. diese Daten für die Umrechnung zwischen den Koordinatensystemen bereitstellt.

Die Position der Kamera im Raum-Koordinatensystem kann durch eine automatische funkbasierte Positionsbestimmung, insbesondere mit Hilfe der „Ultra-Weitband-Funktechnologie" (kurz UWB-Funktechnologie) erfolgen, wobei hierfür bevorzugt fix (an verschiedenen Punkten im relevanten Raumbereich) installierte UWB-Transmitter mit bekannter Position im Raum- Koordinatensystem zum Einsatz kommen und die Kamera über ein UWB- Funkmodul verfügt, mit dessen Hilfe bei den jeweiligen mit der Kamera in UWB-Funkkommunikation befindlichen UWB-Transmittern die Position der Kamera in Bezug auf den UWB Transmitter bestimmt wird und daraus die Positionsdaten generiert werden, die vom Computer der Kamera weiterverarbeitet werden bzw. für die Umrechnung zwischen den Koordinatensystemen bereitgestellt. Da bevorzugt die verwendete Kamera miniaturisiert ausgebildet ist, kann die so ermittelte Position der Kamera im Raum-Koordinatensystem in gute Näherung mit dem Ursprung des Kamera- Koordinatensystems gleichgesetzt werden. Andernfalls wäre eine Korrektur, die den Unterschied berücksichtigt, zu implementieren.

Auch kann der zurückgelegte Weg mittels eines Sensors (z.B. an Rollen eines Einkaufswagens befestigt, der die Rollbewegung der Rollen bzw. Räder erfasst) oder eines Sensors zur Erfassung von Beschleunigungen, woraus der zurückgelegte Weg und die eingeschlagene Richtung ermittelbar ist, erfasst werden und mit diesen Sensoren den zurückgelegten Weg beschreibende Daten generiert werden, die vom Computer der Kamera weiterverarbeitet bzw. für die Umrechnung zwischen den Koordinatensystemen bereitgestellt werden. Hierfür ist allerdings ein bekannter Ausgangspunkt im Raum-Koordinatensystem nötig, um den Weg beschreiben zu können

So kann mit Hilfe der Ergänzungsdaten, die je nach Konfiguration des Systems unterschiedliche Ausprägungen beschreiben, einerseits direkt in der Kamera die Umrechnung in das Raum-Koordinatensystem erfolgen und die so erhaltene Gegenstand-Positionsdaten der realen Szene im Raum- Koordinatensystem von der Kamera für die weitere Bearbeitung durch eine z.B. zentrale Datenverarbeitungseinrichtung abgegeben werden. Andererseits kann auch die Kamera die Positionsdaten der Lichtsignale im räumlichen Kontext des Kamera-Koordinatensystems zusammen mit den bei der Kamera vorliegenden Ergänzungsdaten abgeben und von einer z.B. zentralen Datenverarbeitungseinrichtung die Umrechnung in das Raum- Koordinatensystem durchgeführt werden.

Somit sind in dem Raum-Koordinatensystem nun die dreidimensionalen Positionen der einzelnen Lichtabgabeeirichtungen wie auch der durch sie vermittelten Identifikationsinformation bekannt. Über die Identifikationsinformationen werden für die jeweilige Position nun die tatsächlich betroffenen Gegenstände aus einer Datenbank der z.B. (zentralen) Datenverarbeitungseinrichtung abgefragt und in weiterer Folge generiert die (zentrale) Datenverarbeitungseinrichtung für die Gesamtheit der Gegenstände aus den für jeden Gegenstand ermittelten Gegenstand-Positionsdaten eine Daten-Struktur, welche die dreidimensionale Position jedes Gegenstands in dem Geschäftslokal im Raum-Koordinatensystem enthält. Dies wird im Fachjargon auch dreidimensionaler Floor-Plan eines Geschäfts bezeichnet, der möglichst genau die Position aller Produkte im Geschäft wiedergibt.

Im vorliegenden Fall wird dieser Floor-Plan wie erörtert nicht manuell sondern vollautomatisch basierend auf den Lichtsignalen der im Geschäft installierten elektronischen Regaletiketten oder Trenner und unter Zuhilfenahme von frei beweglichen Kameras, welche im Laufe der Zeit während ihrer Bewegung im Geschäft die Lichtsignale erfassen, generiert.

Es kann auch vorgesehen sein, dass Sequenzen von Szene- Abbildern gemeinsam zur Bestimmung der Position von Gegenständen genutzt werden. Diese Sequenzen können auch Überlappungen der Erfassungsbereiche betreffen. Damit lassen sich Positionen für ein und dieselbe Lichtabgabeeinrichtung in z.B. aufeinanderfolgenden Szene-Abbildern ermitteln und so die Szene-Abbilder miteinander durch Übereinanderlegen der Positionen der Lichtsignale in den verschiedenen Szene-Abbildern koppeln. Diese Kopplung der Szenen-Abbilder führt zu einer Erweiterung des Erfassungsbereiches der einen Kamera oder mehrerer eingesetzter Kameras.

Hierbei können bereits generierte Daten, welche Lichtsignale verorten und ihre Identifikationsinformation angeben, genutzt werden, um neu generierte Szene-Abbilder zu interpretieren. Durch Ausnutzung bereits generierter Abbild-Positionsdaten, also der Position und Identifikation der bereits erfassten Lichtabgabeeinrichtung, lassen sich neu generierte Szene- Abbilder, in denen dieselben Lichtabgabeeinrichtung abgebildet sind, einfach interpretieren. Lichtabgabeeinrichtungen, die bislang noch nicht erfasst sind, können einfach relativ zur Position der bekannten Lichtabgabeeinrichtung beschrieben werden. Somit ist auch eine dynamische Lichtsignalerfassung möglich, bei der sich die abgebildeten Lichtsignale in einer zeitlichen Sequenz von Szene-Abbildern bewegen. Die Positionen von in der Sequenz von Szene- Abbildern neu auftauchenden Lichtsignalen werden hierbei anhand der bereits bekannten Positionen von Lichtsignalen beschrieben. Die Kopplung erlaubt daher eine dynamische und zugleich sichere und zuverlässige Erfassung und Beschreibung der Szene.

Somit lassen sich auch z.B. entlang eines Regalgangs problemlos alle dort installierten Lichtabgabeeinrichtungen erfassen, und zwar auch dann, wenn die jeweils zum Einsatz kommenden Kamera bedingt durch ihren Erfassungsbereich oder auch durch ihre Positionierung oder Ausrichtung in Bezug auf das Regal kein Gesamtbild des Regalgangs erfassen könnte. Durch diese Maßnahme lässt sich also ein gesamtes digitales Szene-Abbild der entlang des Regalgangs installierten Lichtabgabeeinrichtungen generieren.

Erwähnt sei auch, dass mehrere ortsfeste Koordinatensysteme zur Beschreibung der Gegenstand-Positionsdaten herangezogen werden können. So kann beispielsweise in jedem Gang ein lokales ortsfestes Koordinatensystem definiert werden, sodass die Gegenstand-Positionsdaten jeweils in diesem Koordinatensystem beschreiben werden. Die in den einzelnen Koordinatensystemen beschriebenen Abmessungen und/oder Positionen usw. können bei Kenntnis der Beziehung zwischen den Koordinatensystemen dann einfach ineinander übergeführt werden. So lassen sich die Gegenstand-Positionsdaten von den lokalen ortsfesten Koordinatensystemen in das das gesamte Geschäftslokal umfassende bzw. beschreibende, ortsfestes Raum-Koordinatensystem überführen.

Erwähnt sei zudem, dass die frei bewegliche Einrichtung neben den bereits erörterten Komponenten weiterhin einen Akku oder eine Batterie zum Versorgen der elektronischen Komponenten mit Energie aufweisen kann. Die freibewegliche Einrichtung kann auch einen Generator zum Umwandeln von Bewegungsenergie in elektrische Energie aufweisen. Die durch den Generator bereitgestellte elektrische Leistung kann direkt zur Versorgung der elektronischen Komponenten genutzt werden oder im Akku oder der Batterie zwischengespeichert werden. Bevorzugt ist dieser Generator bei der Verwendung eines Einkaufswagens als frei bewegliche Einrichtung, mit zumindest einem Rad des Einkaufswagens verbunden bzw. dort integriert, sodass die Rotationsbewegung des Rads den Generator antreibt. So kann auch die Kamera autonom an der frei beweglichen Einrichtung betrieben werden. Ausgerüstet mit der eigenen Energiequelle kann der Einkaufswagen auch einen eigenen Antrieb versorgen, um den Kunden selbstfahrend zu unterstützen. Es kann in diesem Zusammenhang auch vorgesehen sein, dass die Energiequelle kontaktfrei aufgeladen wird, z.B. an den üblichen Sammelplätzen für solche Einkaufswagen.

Erwähnt sei weiterhin, dass bei der Verwendung eines Einkaufswagens dieser einen Bildschirm, insbesondere einen Touch- Bildschirm, und eine dazugehörige Datenverarbeitungseinheit aufweisen kann, die dem Kunden eine Interaktion mit dem Einkaufswagen erlauben. So kann beispielsweise auf dem Bildschirm ein digitaler Warenkorb angezeigt werden, der wiedergibt, welche Waren in den Einkaufswagen gelegt wurden. Auch kann, damit die Einkaufsliste des Kunden angezeigt werden. Auch können hiermit detaillierte Information zu Produkten vermittelt werden. Hierfür kann der Einkaufswagen einen Barcodescanner oder ein NFC- Kommunikationsmodul aufweisen, womit die Produkte, die in den Einkaufswagen gelegt werden, gescannt bzw. erfasst werden können. Der Einkaufswagen kann auch eine weitere Kamera aufweisen oder die zuvor erörterte Kamera nutzen, um Produkte, die in den Einkaufswagen gelegt, werden zu erfassen. Die Kamera erfasst hierfür das Produkt, das in den Einkaufswagen gelegt wird und erstellt eine Produkt-Abbildung. Die Produkte können hier beispielsweise anhand eines Strichcodes oder QR-Codes oder ähnlichem identifiziert werden. Die im Wesentlichen in Echtzeit vorliegenden Gegenstand-Positionsdaten erlauben hierbei jedoch auch eine Identifizierung des Produkts anhand dessen Struktur in der Produkt-Abbildung. Durch die aktuell generierten Gegenstand-Positionsdaten kann die Produkt-Abbildung mit einer, gegenüber dem Gesamtsortiment reduzierten Auswahl an möglichen Produkten, die sich laut Gegenstand-Positionsdaten in der Szene bzw. der Umgebung befinden, verglichen werden. Somit erlauben die Gegenstand-Positionsdaten eine schnellere und sichere Verarbeitung der Produkt-Abbildung und Erkennung der darin befindlichen Produkte. Ein solcher Einkaufswagen kann weiterhin eine Wage aufweisen, die dafür vorgesehen ist, Produkte im Einkaufswagen zu wiegen. Die daraus generierten Daten können beispielsweise verwendet werden, um die einen gewichtsabhängigen Preis zu ermitteln. Dee so erfasste Warenbestand im Einkaufswagen kann auch gleich für einen zuverlässigen Selbst-Checkout- Prozess inklusive Bezahlung aller Waren, insbesondere auch der gewichtsabhängigen, verwendet werden. Hierfür kann ein NFC-Bezahlterminal am Einkaufswagen vorgesehen sein, mit dem z.B. per NFC-Funktionalität eines Mobiltelefons eine Bezahlung abgewickelt wird. Um auch Waren erfassen zu können, die nicht mit einem NFC-Chip ausgerüstet sind, kann im Einkaufswagen ein Barcode-Scanner vorgesehen sein, womit sich der Selbst- Checkout- Prozess in jedem Fall durchführen lässt.

Der Einkaufswagen kann auch ein NFC-Kommunikationsmodul zur Warenerfassung in den Regalen aufweisen, um z.B. NFC-Tags, die an Gegenständen befestigt sind, beim Vorbeifahren des Einkaufswagens zu erfassen. Der Einkaufswagen kann in dieser Konfiguration nicht nur zur Bestimmung der Position der Gegenstände genutzt werden, sondern auch gleichzeitig die Erfassung der Anzahl der am jeweiligen (Regal-)Platz tatsächlich vorhandenen Gegenstände genutzt werden. Damit lässt sich der Warenbestand im Geschäft über den Schwarm der sich im Geschäftslokal bewegenden Einkaufswangen de facto kontinuierlich Überwachen und über ein Funk-Kommunikationsmodul die erfassten Waren-Bestandsdaten vom Einkaufswagen an den Server übermittle, wo diese in den Floor-Plan Eingang finden und dort auch visualisierbar sind.

Bei der Bewegung des Einkaufswagens kann dem Kunden auch mittels des Bildschirms eine ortsspezifische Marketinginformation bereitgestellt werden, weil der Server 8 ja mit Hilfe der Ergänzungsdaten immer über den Ort des Einkaufswagens informiert ist.

Weiterhin kann im Server 8 eine Kunden-Verhaltensanalyse durchgeführt werde, weil ja dem Server 8 die Bewegungsmuster des Einkaufswagens in Echtzeit zur Verfügung steht, ggf. sogar mit Daten, die den Warenbestand im Einkaufswagen repräsentieren bzw. angeben, vorliegen.

Der Einkaufswagen kann auch eine visuelle Signalabgabeeinrichtung (z.B. eine LED oder den Bildschirm) aufweisen, mit der vermittelbar ist, dass der Einkaufswagen bereit okkupiert ist oder auch dass der Benutzer des Einkaufswagens vom Personal im Geschäftslokal Unterstützung benötigt.

Auch kann der Einkaufswagen ein kostengünstiges LIDAR-System aufweisen, mit dessen Hilfe beim Kunden umgebungs-spezifisch eine spezielle Aufmerksamkeit erweckt werden kann, z.B. durch umgebungsbedingte Informationsbreistellung am Bildschirm.

Abschließend sei noch allgemein erwähnt, dass die erörterten elektronischen Einrichtungen bzw. Geräte natürliche eine Elektronik aufweisen. Die Elektronik kann diskret oder durch integrierte Elektronik oder auch eine Kombination aus beiden aufgebaut sein. Auch können Microcomputer, Micro Controller, Application Specific Integrated Circuits (ASICs), ggf. in Kombination mit analogen oder digitalen elektronischen Peripheriebausteinen zum Einsatz kommen. Viele der erwähnten Funktionalitäten der Geräte werden - ggf. im Zusammenwirken mit Hardwarekomponenten - mit Hilfe einer Software realisiert, die auf einem Prozessor der Elektronik ausgeführt wird. Zur Funkkommunikation ausgebildete Geräte weisen üblicherweise als Bestandteil eines Transceiver- Moduls eine Antennenkonfiguration zum Senden und Empfangen von Funk- Signalen wie auch einen Modulator und/oder einen Demodulator auf. Die elektronischen Geräte können zudem eine interne elektrische Leistungsversorgung aufweisen, die beispielsweise mit einer austauschbaren oder aufladbaren Batterie realisiert sein kann. Auch können die Geräte leitungsgebunden, entweder durch ein externes Netzteil oder auch mittel „Power over LAN" versorgt werden. Ebenso kann eine funkbasierte Leistungsversorgung mittels „Power over WiFi" vorgesehen sein.

Diese und weitere Aspekte der Erfindung ergeben sich durch die nachfolgend erörterten Figuren.

Figurenkurzbeschreibung

Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert, auf welche die Erfindung jedoch nicht beschränkt ist. Dabei sind in den verschiedenen Figuren gleiche Komponenten mit identischen Bezugszeichen versehen. Es zeigen auf schematische Weise: Fig. 1 einen prinzipiellen Aufbau eines Systems zur Durchführung eines erfindungsgemäßen Verfahrens;

Fig. 2 ein Auftreten einer Identifikationsinformation in verschieden Lichtsignalen im zeitlichen Verlauf;

Fig. 3 eine Anwendung des Systems in einem Regalgang in einem Geschäftslokals.

Beschreibung der Ausführungsbeispiele

Die Figur 1 zeigt ein System 1 zur Durchführung eines Verfahrens für eine Bestimmung der Position von Gegenständen bildenden Produkten PI bis P6 in einem Verkaufslokal, nachfolgend kurz Raum 2 genannt. In dem Raum 2 ist ein ortsfestes, orthogonales, rechtshängiges Raum- Koordinatensystem 3 mit seinen Koordinatenachsen XR, YR und ZR eingezeichnet, so dass die dreidimensionalen Positionen der Produkte PI bis P6 in diesem Raum-Koordinatensystem 3 angegeben werden können. Eine digitale Repräsentation dieser dreidimensionalen Positionen wird im Folgenden als Gegenstand-Positionsdaten für das jeweilige Produkt Pl - P6 bezeichnet.

In dem Raum 2 sind lediglich zwei Regalböden 7A und 7B von einem Regal 7 sichtbar, an deren vorderer Kante jeweils drei elektromische Regaletiketten 4A - 4C bzw. 4D - 4F korrespondierend bzw. benachbart zu den Produkten, Pl - P6, mit denen sie logisch verknüpft sind und für die sie jeweils mit ihrem Bildschirm 5 eine Produkt- und/oder Preisinformation anzeigen, befestigt sind. Jedes Regaletikett 4A - 4F weist zudem eine an der Vorderfront benachbart zu dem Bildschirm 5 lokalisierte Leuchtdiode 6 auf, die zum Abgeben eines Lichtsignals vorgesehen ist, wobei beim Abgeben des Lichtsignals dieses gemäß einer individuellen Identifikationsinformation codiert wird und die Identifikationsinformation zur eindeutigen Identifikation des jeweiligen Produkts Pl - P6 dient. Im vorliegenden Fall wird ein Binärcode der die Identifikationsinformation bildet übertragen, wobei entsprechend des jeweiligen Bit-Werts der Strom durch die Leichtdiode 6 entweder eingeschaltet oder ausgeschalte wird. Diese Übertragung kann auch eingebet in definierte Start- und Stopp-Bit(s) usw. sein.

Das System 1 weist zudem einen Server 8 auf, der die logische Verbindung zwischen jedem Produkt Pl - P6 und dem ihm zugeordneten Regaletikett 4A - 4F speichert. Die Regaletiketten 4A - 4F erhalten ihre jeweilige anzuzeigende Produkt- und/ oder Preisinformation von dem Server 8, wobei diese mit Hilfe eines Funk-Regaletiketten-Accesspoints 9 an das jeweilige Regaletikett 4A - 4F übertragen wird. Da der Server 8 also die Identität jedes Regaletiketts 4A - 4F und das dem jeweiligen Regaletikett 4A - 4F zugeordnete Produkt Pl - P6 kennt, reicht es grundsätzlich aus, dass das Lichtsignal als Identifikationsinformation lediglich die Identifikationsinformation des jeweiligen Regaletiketts 4A - 4F aussendet, um beim Server 8 basierend auf der Identifikationsinformation das jeweilige betroffene Produkt PI -P6 eindeutig identifizieren zu können.

Das System 1 weist zudem eine Kamera 10 auf, die frei beweglich im Raum 2 ist, so dass sie grundsätzlich in alle Bereiche des Raums 2 bewegt werden kann, um dort die jeweils vorliegende Szene mit Hilfe eines digitalen Szene-Abbildes zu erfassen. Die mit Hilfe der Kamera 10 erfasste Szene lässt sich mit Hilfe eines Kamera-Koordinatensystems 11 in dreidimensionalen Koordinaten XK, YK, ZK beschreiben, wobei das Kamera-Koordinatensystem 11 im Zentrum der bilderfassenden Pixel des CCD-Sensors der Kamera 10 verortet ist, also dort seinen Ursprung hat, und wobei die durch die Koordinaten XK und ZK aufgespannte Ebene in der Bilderfassungseben des CCD-Sensors verläuft und eine Granularität gemäß den Pixeln des CCD- Sensors aufweist. In der Pixelmatrix des CCD-Sensors lässt sich jeder Pixel durch ein zweidimensionale Pixel-Koordinatensystem mit den Achsen XKP und ZKP angeben, wobei die Achse XKP entsprechend der Achse XK und die Achse ZKP entsprechend der Achse ZK verläuft und orientiert ist. Der einfacheren Erörterung geschuldet sei hier angenommen, dass auch die Pixel des digitalen Szene-Abbilds, also das Ergebnis der mit Hilfe des CCD-Sensors vorgenommenen Digitalisierung der Abbildung der Szene, gemäß dem zweidimensionalen Pixel-Koordinatensystem adressierbar sind.

Weiterhin sei festgehalten, dass die dritte Koordinate YK des Kamera-koordinatensystems 11 durch eine Optik (bzw. ein Objektiv - nicht dargestellt) der Kamera 10 in Richtung der zu erfassenden Szene weist. Das Objektiv definiert im Wesentlich einen Erfassungsbereich E der Kamera. Bei Vorhandensein eines digitalen Zooms kann dieser Erfassungsbereich natürlich auch von der Einstellung des digitalen Zooms abhängig sein. Die räumliche Ausrichtung und Verortung des Kamera- Koordinatensystems 11 im Raum 2, also im Raum-Koordinatensystem 3, ist folglich von der jeweiligen Position wie auch der Ausrichtung der Kamera 10 im Raum 2 abhängig.

Im vorliegenden Fall sei angenommen, dass die Grundfläche (der Fußboden) des Raums 2 durch die Ebene, welche mit Hilfe der Koordinatenachsen XR und YR ausgespannt ist, zusammenfällt. Die Kamera ist der einfacheren Erörterung geschuldet hinsichtlich ihrer Neigung ebenfalls parallel zu der Grundfläche ausgerichtet, was bedeute, die durch die Koordinatenachsen XK und YK des Kamera-Koordinatensystems 11 aufgespannte Fläche parallel zur Grundfläche verläuft. Sie ist also neigungsfrei ausgerichtet. Falls die Neigung zu berücksichtigen wäre, würden mit Hilfe eines Sensors der Kamera 10 Neigungsdaten generiert, welche die ermittelte Neigung repräsentierten.

Im vorliegenden Fall sei weiterhin angenommen, dass eine Referenzorientierung im Raum 2 durch die Richtung der Koordinatenachse XR des Raum-Koordinatensystems 3 gegeben ist. Die aktuelle Orientierung der Kamera 10 wird also in Bezug auf diese Richtung angegeben. Dies kann mit Hilfe eines elektronischen Kompasses der Kamera 10 erfolgen, der auf diese Richtung als Bezugsorientierung eingestellt bzw. programmiert ist. Auch kann ein elektronsicher magnetischer Kompass zur Anwendung kommen, wobei die mit seiner Hilfe in Bezug auf die Nordrichtung festgestellte Orientierung in Bezug auf die Referenzorientierung umgerechnet werden kann. Unabhängig von der Art der Ermittlung der aktuellen Orientierung werden die so erhaltenen Orientierungsdaten von der Kamera 10 zur weiteren Verarbeitung bereitgestellt.

Das System 1 weist zudem einen Funk-Kamera-Accesspoint 12 auf, der mit dem Server 8 verbunden ist und mit dessen Hilfe die Orientierungsdaten von der Kamera 10 an den Server 8 übertragen werden. Die Kamera 10 weist für diesen Zweck eine entsprechende Kamera-Daten- Funk-Kommunikationsstufe 12A (nicht im Detail dargestellt) auf, von der nur eine erste Antennenkonfiguration dargestellt ist. Die Kamera-Daten-Funk- Kommunikationsstufe 12A wird zur Übermittlung der Orientierungsdaten, ggf. auch zur Übermittlung der Neigungsdaten, falls diese zu berücksichtigen sind, und auch weitere Bildverarbeitungsdaten, die als Ergebnis einer Bildverarbeitung mit Hilfe eines Computers der Kamera 10, nachfolgend als Kamera-Computer (nicht dargestellt) bezeichnet, zu übertragen sind.

Die Position der Kamera 10 im Raum 2 wird im vorliegenden Fall mit Hilfe von UWB-Funk ermittelt und diese Position in guter Näherung dem Ursprung des Kamera-Koordinatensystems 11 zugewiesen. Zu diesem Zweck ist ein UWB-Funksystem 13 vorgesehen, dessen Position eindeutig im Raum 2 festgelegt ist, und das mit dem Server 8 gekoppelt ist, um die mittels UWB- Funk ermittelten Kamera-Positionsdaten, welche die Position der Kamera 10 im Raum 2 (konkret in Bezug auf die Position des UWB-Funksystems 13, von der wiederum auf die durch das Raum-Koordinatensystem 3 umgerechnet werden kann) angeben, an den Server 8 zu übermitteln. Natürlich kann auch der Ursprung des Raum-Koordinatensystems 3 am Ort des UWB-Funksystems verortet sein, um die erörterte Umrechnung zu vermeiden. Die Kamera 10 weist für den Zweck der UWB-Funk-Kommunikation eine entsprechende Kamera-UWB-Funk-Kommunikationsstufe 13A (nicht im Detail dargestellt) auf, von der nur eine zweite Antennenkonfiguration dargestellt ist.

Nachfolgend ist im Detail auf des mit Hilfe des Systems 1 durchgeführte Verfahren eingegangen. Dabei sei angenommen, dass die Kamera 10 sich entlang ihres Weges S gerade am Ort S1 befindet und dort mit ihrem Erfassungsbereich E auf das Regal 7 ausgerichtet ist und eine Serie von Standbildaufnahmen, nachfolgend Standbildserie genannt, von der innerhalb des Erfassungsbereiches E vorliegenden Szene erstellt. Jedes Standbild bildet ein digitales Szene-Abbild, dessen Bildpunkte wie erörtert im Wesentlichen durch die Pixelmatrix des CCD-Sensors der Kamera 10 vorgegeben sind.

In der Standbildserie, die durch Bilddaten repräsentiert ist, ist nun neben den Regaletiketten 4A - 4F insbesondere auch das codierte Lichtsignal jedes Regaletiketts 4A - 4F an den jeweiligen Pixel-Koordinaten XKP und ZKP enthalten.

Reduziert auf die Regaletiketten 4A - 4F und das jeweilige Lichtsignal visualisiert die Figur 2 nun die Abbildung der Szene auf die Ebene der Pixelmatrix des CCD-Sensor der Kamera 10 und zeigt zu fünf unterschiedlichen Zeitpunkten tl bis t5 die am Abbildungsort für das jeweilige Lichtsignal vorliegende Helligkeit durch die Symbole „Kreis" und „Stern" an. In dieser Darstellung symbolisiert ein „Kreis" Dunkelheit, also dass die das jeweilige codierte Lichtsignal aussenden Leuchtdiode 6 gerade ausgeschaltet ist. Weiterhin symbolisiert in dieser Darstellung im Unterschied zum „Kreis" ein „Stern" Helligkeit, also dass die das jeweilige codieret Lichtsignal aussenden Leuchtdiode 6 gerade eingeschaltet ist.

Mit Hilfe des Computers der Kamera wird nun einerseits durch ein Erkennen der Codierung des jeweiligen Lichtsignals festgestellt, dass es sich um ein im vorliegenden Kotext zu berücksichtigendes Lichtsignal handelt und nicht andere Lichtsignale vorliegen, die nichts mit der Zielsetzung der Erfindung zu tun haben, und für ein solches zu berücksichtigendes Lichtsignal die Position in der Pixelmatrix festgestellt und die jeweilige Identifikationsinformation ermittelt. Diese Ermittlungsdaten auf Pixeleben werden zwischen gespeichert. Zu diesem Zeitpunkt kann die ermittelte Identifikationsinformation bereist genutzt werden, um das zugehörige Produkt PI - P6zu identifizieren.

In einem weiteren Verfahrensschritt wird festgestellt, wie weit die Lichtsignale in der realen Szene vorneigender beabstandet sind. Dazu wird ein Maßstab ermittelt, der sich aus der Kenntnis der realen Abmessungen (z.B. Kantenlänge der Frontumrandung) der im digitalen Abbild vorliegenden Regaleti ketten 4A - 4F ergibt. Die Positionen der jeweiligen Regaleti ketten 4A - 4F sind computerunterstützt unproblematisch im digitalen Szene-Abbild zu ermitteln, weil sich ja das Lichtsignal innerhalb der sichtbaren Front bzw. Frontumrandung des jeweiligen Regaleti kettes 4A - 4F befindet. Dem Computer der Kamera ist weiteres die reale Abmessung (also die tatsächliche Länge der Abschnitte der Frontumrandung) dieser als Referenzobjekte zum Einsatz kommenden Regaletiketten 4A - 4F bekannt. Durch Mustererkennung wird in dem digitalen Abbild die jeweilige Frontumrandung bestimmt und entlang dieser (entlang der längeren und/oder kürzeren Seite) die Anzahl der zugehörigen Pixel ermittelt. Da die physikalischen Pixelabstände des CCD- Sensors bekannt sind, lässt sich nun der Maßstab zum Umrechnen gezählten Pixel (also Abstände oder Längen im Pixel-System des digital Szene- Abbildung) in reale Längeneinheiten (z.B. Millimeter) bin der Szene berechnen. Damit lassen sich die Relativ-Abstände der Lichtsignale in der realen Szene zueinander bestimmen, also in der XK-ZK-Ebene des Kamera- Koordinatensystems 11 angeben. Damit sind grundsätzlich auch schon die Positionen der Rega I et i ketten 4A - 4F und in weiterer Folge die Positionen der zugehörigen Produkte Pl - P6 in dieser XK-ZK-Ebene definiert.

In einem weiteren Verfahrensschritt wird nun der Abstand von der Kamera 10 hin zur Szene ermittelt, um die zweidimensionale Verortung im Kamera-Koordinatensystem 11 um die dritte Dimension zu ergänzen. Nachdem die physikalischen Parameter von sowohl dem CCD-Sensor wie auch dem Objektiv bekannt sind, also die Länge eines auf den CCD-Sensor abgebildeten Objekts in z.B. Millimeter am CCD-Sensor bestimmbar ist, und auch für das jeweilige Referenzobjekt in der realen Szene die Abmessungen bekannt sind, lässt sich unter Anwendung der Linsengleichung dieser Abstand zwischen der Kamera und der realen Szene problemlos mit Hilfe des Computers der Kamera 10, der die nötigen Angaben speichert, berechnen, sodass die Position der Lichtsignale im Kamera-Koordinatensystem 11 entlang der Koordinaten XK, YK und ZK in z.B. metrischen Maßangaben (z.B. Millimeter) angegeben werden können.

In weiter Folge werden so im Kamera-Koordinatensystem 11 ermittelten Gegenstand-Positionsdaten (die hier noch in der Koordinatenangabe XK, YK und ZK vorliegen) für jedes Lichtsignal (im weiteren Sinne damit natürlich auch für jedes Regaletikett 4A - 4F) zusammen mit der jeweiligen Identifikationsinformation von der Kamera 10 an den Server 8 übermittelt. Damit zusammen weder auch die am Ort S1 ermittelten Orientierungsdaten an den Server 8 übermittelt. Beim Server 8 liegen auch die Kamera-Positionsdaten vor, die für den Ort S1 zum Zeitpunkt der Aufnahme der Bildserie mittels der UWB-Funkkommunikation ermittelt wurden. Die Orientierungsdaten und die Kamera-Positionsdaten bilden zusammen Ergänzungsdaten, mit deren Hilfe die für das Kamera- Koordinatensystem 11 gültigen Positionsgaben der Lichtsignale in das Raum- Koordinatensystem 3 durch Umrechnung (Koordinatentransformation unter Berücksichtigung des Umstands, dass die Position des UWB-Funksystem 13 nicht mit dem Ursprung des Raum-Koordinatensystems 3 zusammenfällt) beim Server 8 übergeführt werden. Danach definieren die Gegenstand- Positionsdaten die jeweilige Position der Lichtsignale in der Koordinatenangabe XR, YR und ZR.

Wie aus der Figur 2 ersichtlich ist, kann die Kamera 10 grundsätzliche frei beweglich sein. Sie kann daher je nach Implementierung zum Beispiel an einer Brille oder an einem Einkaufswagen 14, so wie dies anhand der Figur 3 dargestellt ist, montiert sein.

Konkret zeigt die Figur 3 einen Regalgang, der zu beiden Seiten von Regalen 7 flankiert ist und in dem sich der Einkaufswagen 14, der die Kamera 10 an einer aufragenden Stange 15 trägt, entlang des Wegs S bewegt. Aus Gründen der Übersichtlichkeit wurden hier auch nur die ersten sechs Regaletiketten 4A - 4F und die ersten sechs Produkte Pl - P6 mit Bezugszeichen versehen, wobei die Produkte Pl - P6 lediglich durch strichlierte Rahmen, die die Position der Produkte P1-P6 im Regal 7 angeben, angedeutet sind. Im vorliegenden Fall sei angenommen, dass die Kamera 10 zur linken Seite des Wagens 14 hin orientiert ist, also das linke Regal 7 im Erfassungsbereich E der Kamera 10 liegt, wobei die Länge des Regals 7 die Weite des Erfassungsbereichs E übersteigt. Entlang des Wegs S erfasst die Kamera 10 daher die sich jeweils in ihrem Erfassungsbereich E befindliche jeweilige Szene mehrmals, so z.B. ein erstes Mal an einer Position S1 und ein zweites Mal an einer Position S2. Die an jedem Ort SI bzw. S2 generierte Standbildserie wird von dem Computer der Kamera 10 analog zu den zuvor getätigten Erörterungen verarbeitet und in weiterer Folge an den Server 8 übermittelt, der mit Hilfe der Umrechnung die Verortung der Lichtsignale, also in letzte Konsequenz der Produkte im Raum-Koordinatensystem vollendet. Wenn, wie im vorliegenden Beispiel ersichtlich, die von benachbarten Positionen PI und P2 aus erfassten Serienbilder eine Überlappung von Regalbereichen aufweisen, kann dies genutzt werden, um die Ergebnisse der Bestimmung der Gegenstand-Positionsdaten zu verbessern, weil diese ja für ein und dasselbe Lichtsignal mehrfach im Überlappungsbereich generiert werden. Gleiches gilt im Übrigen auch für die mehrfache Erfassung zu völlig unterschiedlichen Zeiten mit ein und derselben Kamera 10 oder mit unterschiedlichen Kameras 10, die mit unterschiedlichen Einkaufswagen 14 mitbewerbt werden. Die Vielzahl der bewegten Einkaufswagen 14 stellt im Übrigen in größeren Geschäften sicher, dass unter der Mithilfe der Kunden das gesamte Geschäft kartographiert wird, also dass im Lauf der Zeit die Gegenstand-Positionsdaten für die Gesamtheit der Produkte erfasst werden.

Um das in der Figur 3 ersichtliche rechte Regal 7 zu erfassen, müsst der Einkaufswagen 14 umgedreht werden und wieder entlang des Gangs bewegt werden oder zwei Kameras 10 aufweisen, von den eine erste Kamera 10 nach links und eine zweite Kamera 10 nach rechts orientiert ist.

Die Gesamtheit der bei dem Server 8 nach und nach vorliegenden individuellen Gegenstand-Positionsdaten im Raum-Koordinatensystem 3 für die jeweiligen Produkte Pl, P2 usw. wird bei dem Server s letztendlich verwendet, um eine digitale dreidimensionale Karte der Produktpositionen zur erstellen, die im Fachjargon aus als Floor-Plan bezeichnet wird. Der Aufbau oder auch ein Update dieser dreidimensionalen Karte der Produkte Pl, P2 usw. kann jeweils nach Verstreichen eines bestimmten Erfassungszeitdauer oder sukzessive, also jeweils bei einem Vorliegen neuer Gegenstand- Positionsdaten erfolgen.

Alternativ sei noch erwähnt, dass die frei bewegliche Einrichtung (also die Brille oder der Einkaufswagen) einen Computer aufweisen kann, der Rohdaten von der Kamera 10 empfängt und die im Zusammenhang mit der Kamera 10 beschriebene Verarbeitung dieser Rohdaten durchführt. In diesem Fall kann auch die frei bewegliche Einrichtung die Kamera-Daten-Funk- Kommunikationsstufe 12A und die Kamera-UWB-Funk-Kommunikationsstufe 13A aufweisen.

Gemäß einem weiteren Ausführungsbeispiel kann auch ein Mobiltelefon oder ein Tablet-Computer als frei webgliche Einrichtung, welche die Kamera trägt, zum Einsatz kommen. Moderne Geräte dieser Art sind üblicherweise bereits mit einem ausgezeichneten Kamera-System inklusive eines Sensors (oft als Flight-of-Time Sensor realisiert) zum Erfassen des Abstands zwischen der Kamera und einem mit der Kamera erfassten Objekt ausgerüstet. Auch verfügen sie über leistungsfähige Computer, welche die vorangehend erörterten Rechenaufgaben problemlos (insbesondere in Echtzeit) mit geeigneter Programmierung umsetzen können. Bei solchen Geräten kommt eine sogenannte App zum Einsatz, also eine Software, welche die im Kontext dieser Erfindung erörterten Funktionalitäten bereitstellt, sobald sie auf dem Computer des Gerätes ausgeführt wird. Auch die Positionsbestimmung dieser Geräte im Raum des Geschäftslokals oder Lagers kann mit der in dem jeweiligen Gerät integrierten Funkeinrichtung (wie z.B. WLAN oder BlueTooth ®) z.B. problemlos mittels Triangulation erfolgen oder auch unter Einsatz von UWB-Funk, soweit diese Funktionalität bei dem jeweiligen Gerät auch implementiert ist. Soweit solche Geräte ab Werk noch nicht mit einer integrierten UWB-Funkeinrichtung ausgerüstet sind, lassen sie sich durch an z.B. dem USB-Anschluss des Geräts einsteckbare UWB- Funkeinrichtungen (z.B. ausgeführt als UWB-Funk-Dongle oder USB-fähige UWB-Funkeinrichtung) nachrüsten. Solche Geräte werden im Kontext dieser Erfindung vorwiegend vom Personal des Geschäfts oder Lagers benützt, wobei sie in Richtung der Regale gehalten werden, an den Regalen vorbei bzw. entlang getragen werden und dabei die Erfassung der jeweiligen Szene erfolgt. Der Einsatz solcher Geräte hat sich auch deshalb als besonders vorteilhaft erwiesen, weil sie über einen integrierten Bildschirm verfügen, mit dessen Hilfe das Personal immer gleich Vorort die erfasste Szene visuell mitverfolgen und bewerten kann und ggf. die Orientierung oder Ausrichtung, ggf. auch die Zorn-Einstellung oder auch die Belichtung usw., anpassen kann, um eine optimierte Erfassung in einem einzigen Arbeits-Durchgang sicherzustellen. Soll keine durch das Personal zu erledigende visuelle just-in- time Prüfung der mit Hilfe der Kamera erfassten Szene erfolgen, kann auch nachfolgend durch automatische Bild- oder Videoauswertung (z.B. beim Server) erkannt werden, in welchen Bereichen des Geschäftslokals oder des Lagers ggf. eine nochmalige Erfassung der Szene nötig erscheint, um ein vollständiges Bild der dort vorliegenden Situation zu erhalten. Da jedoch die Geräte selbst auch einen leistungsfähigen Computer aufweisen, kann auch gleich mit Hilfe des jeweiligen Gerätes bei der Erfassung automatisch geprüft werden, ob das digitale Szene-Abbild für die weitere Verarbeitung geeignet ist oder ob die Szene neuerlich zu erfassen wäre. Dies kann dem Personal z.B. akustische mit Hilfe des im Gerät integrierten Audio-Moduls z.B. mittels vom Gerät „gesprochener" Instruktionen oder auch in Form eines Dialogs mitgeteilt werden, und zwar derart, dass dem Personal unmissverständliche Handlungsanweisungen mitgeteilt werden, wie z.B. das Gerät höher oder tiefer zu halten oder die Neigung oder die Orientierung in eine vorgegebene Richtung zu ändern usw.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorangehend detailliert beschriebenen Figuren nur um Ausführungsbeispiele handelt, welche vom Fachmann in verschiedenster Weise modifiziert werden können, ohne den Bereich der Erfindung zu verlassen. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können.

Claims

Ansprüche

1. Verfahren für die Bestimmung der Position von zumindest einem Gegenstand (P1-P6) im Raum (2), insbesondere von zumindest einem in einem Regal (7) positionierten Produkt (P1-P6), wobei das Verfahren aufweist:

- ein Aussenden eines Lichtsignals, das mit einer Identifikationsinformation zum Identifizieren des Gegenstands (P1-P6) codiert ist, von einer benachbart zu dem Gegenstand (P1-P6) positionierten Lichtabgabeeinrichtung (4A - 4F), und

- ein Erfassen einer Szene mit Hilfe von zumindest einer frei beweglichen Kamera (10), wobei ein mit Hilfe der Kamera (10) generiertes digitale Szene- Abbild die Szene repräsentiert, und

- ein Generieren von Gegenstand-Positionsdaten basierend auf einer computerisiert ermittelten Position des in dem digitalen Szene-Abbild auftretenden Lichtsignals in Bezug auf die Kamera (10) und der mit dem Lichtsignal ausgesandten Identifikationsinformation und unter Kenntnis einer automatisiert bestimmten Ausrichtung und Position der Kamera (10) im Raum (2) beim Erfassen der Szene, wobei die Gegenstand-Positionsdaten die Position des Gegenstands (P1-P6) in der Szene in Bezug auf den Raum (2) repräsentieren.

2. Verfahren gemäß Anspruch 1, wobei das Verfahren unter Zuhilfenahme von mehreren voneinander unabhängig bewegten Kameras (10) durchgeführt wird.

3. Verfahren gemäß einem der vorangehenden Ansprüche, wobei die zumindest eine frei bewegliche Kamera (10) an einem Einkaufswagen (14) oder an einer Brille angebracht ist.

4. Verfahren gemäß Anspruch 3, wobei mehrere Kameras (10) vorgesehen sind, die gemeinsam miteinander, also gruppiert, bewegt werden und aus unterschiedlichen Erfassungspositionen heraus und/oder mit unterschiedlichen Erfassungsorientierungen individuelle digitale Szene- Abbilder generieren.

5. Verfahren gemäß einem der vorangehenden Ansprüche, wobei ein mit der zumindest einen frei beweglichen Kamera (10) mitbewegter Steuersignalsender ein Steuersignal, insbesondere ein funkbasiertes Steuersignal, abgibt und die sich im Empfangsbereich des Steuersignals befindliche Lichtabgabeeinrichtung (4A - 4F), die zum Empfangen des Steuersignals ausgebildet ist, nur bei einem Empfang des Steuersignals das Lichtsignal aussendet.

6. Verfahren nach einem der vorangehenden Ansprüche, wobei das Ermitteln der Position in Bezug auf die Kamera (10) ein automatisches Bestimmen eines aus dem digitalen Szene-Abbild ableitbaren Maßstab aufweist, wobei der Maßstab unter Kenntnis der realen Abmessung eines in dem digitalen Szene-Abbild identifizierten Referenzobjekts (4A - 4F), insbesondere ausgebildet als elektronisches Regaletikett (4A - 4F), bestimmt wird und für die Umrechnung zwischen Positionsangaben bzw. Abmessungen, die in dem digitalen Szene-Abbild ermittelt werden, und Positionsangaben bzw. Abmessungen in der mit Hilfe der Kamera (10) erfassten Szene dient.

7. Verfahren nach einem der vorangehenden Ansprüche, wobei das Ermitteln der Position in Bezug auf die Kamera (10) ein automatisches Bestimmen des Abstands zwischen der Kamera (10) und der mit ihr erfassten Szene aufweist.

8. Verfahren nach einem der vorangehenden Ansprüche, wobei das Ermitteln der Identifikationsinformation ein Analysieren der zeitlichen Veränderung eines Lichtsignalparameters unter Kenntnis eines beim Aussenden des Lichtsignals zur Anwendung gekommenen Codierungsschemas aufweist.

9. Verfahren nach einem der vorangehenden Ansprüche, wobei der Verfahrensschritt des Aussendens des Lichtsignals im Wesentlichen gleichzeitig durch mehrere Lichtabgabeeinrichtungen (4A - 4F) durchgeführt wird, und wobei der Verfahrensschritt des computerisierten Ermittelns der Position des in dem digitalen Szene-Abbild auftretenden Lichtsignals in Bezug auf die Kamera (10) und der mit dem Lichtsignal ausgesandten Identifikationsinformation für die Gesamtheit der in dem digitalen Szene- Abbild auftretenden Lichtsignale durchgeführt wird.

10. Verfahren nach einem der vorangehenden Ansprüche, wobei für die Generierung der Gegenstand-Positionsdaten Ergänzungsdaten berücksichtigt werden, welche zumindest eine der nachfolgend angeführten Art von Daten aufweisen, nämlich:

- Orientierungsdaten, welch die Orientierung der Kamera (10) in Bezug auf eine Bezugsorientierung im Raum (2) beschreiben;

- Neigungsdaten, welche die Neigung der Kamera (10) in Bezug auf eine Bezugsebene im Raum (2) beschreiben;

- Positionsdaten, welche die Position der Kamera (10) in Bezug auf einen Bezugspunkt im Raum (2) beschreiben.

11. Verfahren gemäß einem der vorangehenden Ansprüche, wobei eine Datenverarbeitungseinrichtung aus den für jeden Gegenstand (P1-P6) ermittelten Gegenstand-Positionsdaten eine Daten-Struktur generiert, welche die dreidimensionale Position jedes Gegenstands (P1-P6) in dem Raum (2) angibt.

12. Frei bewegliche Einrichtung (14), insbesondere ein Einkaufswagen oder eine Brille oder eine Mobiltelefon oder ein Tablet-Computer, für das Bestimmen der Position von zumindest einem Gegenstand (P1-P6) im Raum (2), insbesondere von zumindest einem in einem Regal (7) positionierten Produkt (P1-P6), wobei diese Position durch ein von einer benachbart zu dem Gegenstand (P1-P6) positionierten Lichtabgabeeinrichtung (4A - 4F) ausgesandtes Lichtsignal, das eine Identifikationsinformation codiert, mit deren Hilfe der Gegenstand (P1-P6) identifizierbar ist, angezeigt ist,

- wobei die Einrichtung zumindest eine Kamera (10) trägt, die zum Generieren eines digitalen Szene-Abbilds einer mit ihr erfassten Szene ausgebildet ist,

- und wobei die Einrichtung, insbesondere die Kamera (10), zum computerisierten Ermitteln der Position des in dem digitalen Szene-Abbild auftretenden Lichtsignals in Bezug auf die Kamera (10) und der mit dem Lichtsignal ausgesandten Identifikationsinformation ausgebildet ist,

- und wobei die Einrichtung, insbesondere die Kamera (10), dazu ausgebildet ist, eine automatisierte Bestimmung der Ausrichtung und der Position der Kamera (10) im Raum (2) beim Erfassen der Szene zumindest zu unterstützen.

13. Lichtabgabeeinrichtung (4A - 4F), insbesondere ein Regaletikett (4A

- 4F), das zum Anzeigen einer Produkt- und/oder Preisinformation ausgebildet ist, oder ein Produktrenner, der zum Trennen von unterschiedlichen Produkten (P1-P6) ausgebildet ist, wobei die Lichtabgabeeinrichtung (4A - 4F) aufweist:

- eine Speicherstufe zum Speichern einer Identifikationsinformation, mit deren Hilfe ein Gegenstand (P1-P6), insbesondere ein in einem Regal (7) positioniertes Produkt (P1-P6), identifizierbar ist, in dessen Nachbarschaft die Lichtabgabeeinrichtung (4A - 4F) positioniert ist, und

- eine Lichtsignal-Erzeugungsstufe (6), die zum Codieren eines Lichtsignals gemäß der Identifikationsinformation und zum Abgeben dieses codierten Lichtsignals ausgebildet ist.

14. System (1) zum Bestimmen der Position von zumindest einem Gegenstand (P1-P6) im Raum (2), insbesondere von zumindest einem in einem Regal (7) positionierten Produkt (P1-P6), wobei das System (1) aufweist:

- zumindest eine Lichtabgabeeinrichtung (4A - 4F) gemäß dem Anspruch 13 und

- zumindest eine frei bewegliche Einrichtung (14) gemäß dem Anspruch 12.