DE102006018836A1

DE102006018836A1 - System und Verfahren zur Schätzung von Objektbeständen

Info

Publication number: DE102006018836A1
Application number: DE200610018836
Authority: DE
Inventors: Ivo Dr. Keller
Original assignee: VIS A PIX GmbH; Vis-A-Pix GmbH
Current assignee: VIS A PIX GmbH; Vis-A-Pix GmbH
Priority date: 2006-04-22
Filing date: 2006-04-22
Publication date: 2007-10-25

Abstract

Die Erfindung betrifft ein System und ein Verfahren zur Schätzung von Objektbeständen, wobei das System aus mindestens einem Sensor zur Erfassung von elektromagnetischer Strahlung und zur Erzeugung von Bildsequenzen, mindestens einer Speichereinheit und mindestens einer Einheit zur Analyse des Sensorsignals besteht und das Verfahren auf einer automatischen Auswertung von Bildsequenzen basiert.

Description

Die Erfindung betrifft ein System und ein Verfahren zur Schätzung von Objektbeständen, wobei das System aus mindestens einem Sensor zur Erfassung von elektromagnetischer Strahlung und zur Erzeugung von Bildsequenzen, mindestens einer Speichereinheit und mindestens einer Einheit zur Analyse des Sensorsignals besteht und das Verfahren auf einer automatischen Auswertung von Bildsequenzen basiert.
Die Aufgabe einer kosten- und personalsparenden Schätzung von Objektbeständen ist eine Herausforderung in vielen Bereichen des Wirtschaftslebens wie in Handel, bei der Lagerverwaltung, in der Industrie, in der Landwirtschaft. Unter Objekten werden hier aller Arten der Sachgüter verstanden, angefangen mit fertigen Produkterzeugnissen bis hin zu Rohstoffen.
Bei Bergbauarbeiten werden zum Beispiel große Mengen von Rohstoffen und Begleitstoffen gefördert, so dass Anlagerungen und Gruben entstehen. Die genauen Abmessungen dieser Formationen und derer zeitliche Veränderung zu schätzen, ist eine schwierige und vor allem kostspielige Aufgabe, die aber mit dem erfindungsgemäßen Einsatz des beschriebenen Systems kostengünstig gelöst werden kann.
Eine weitere wichtige Anwendungsmöglichkeit ist die Vorbereitung von Durchführung der in Handel gesetzlich vorgeschriebenen Bestandsaufnahme der Sachgüter, was einen Bestandteil der Inventur darstellt. Jeder Kaufmann ist gemäß § 240 des Handelsgesetzbuches und §§ 140, 141 der Abgabenordnung im Rahmen der ordnungsgemäßen Buchführung zur Inventur verpflichtet, und zwar bei der Gründung, bei der Übernahme oder bei der Schließung eines Unternehmens sowie zum Schluss eines jeden Geschäftsjahres. Die Durchführung der körperlichen Inventur, bei der die Vermögensgegenstände durch Zählen, Messen oder Wiegen aufgenommen werden, ist in der Regel mit großem Aufwand, hohen Kosten und Störungen des betrieblichen Ablaufs verbunden.
Eine kontinuierliche Waren-Bestandsaufnahme ist ein wichtiges Werkzeug zur Absatzoptimierung im Einzelhandel. Ein schnelles Erkennen und eine unmittelbare Meldung von Präsenzlücken in Warenauslagen führen zu einer zeitnahen und effizienten Schließung dieser Lücken und minimieren somit entgangene Verkäufe. Die verkürzten Reaktionszeiten ermöglichen eine schnelle Reaktion auf das Kaufverhalten der Kunden, von einem Nachfüllen der Regale aus den Lagerbeständen bis hin zu einer bedarfsgerechten Bestellung oder hauseigenen Herstellung von verderblichen Waren wie Back- oder Fleischerzeugnissen, Frischkost und ähnlichem. Die Auswertung der gewonnenen Informationen liefert Hinweise auch zu einer mittelfristigen Optimierung des Sortiments.
Eine kontinuierliche und automatische Bestandsaufnahme von Waren und anderen Objekten wird zurzeit nur in einigen Bereichen des Wirtschaftslebens durchgeführt, vor allem bei der Verwaltung von Warenlager (kurz: Lager). Bei großen Lagern werden alle Objekte, die gelagert werden, beim Eingang und beim Ausgang aus dem Lager registriert, so dass der tatsächliche Objektbestand im Lager immer bekannt ist. Problematisch ist es, den Objektbestand zu schätzen, wenn es zwischen dem Objektausgang aus dem Lager und dem Verkauf bzw. der Weitergabe der Objekte noch andere Orte der Zwischenlagerung existieren, wie es zum Beispiel im Einzelhandel der Fall ist. Die aus großen Lagern gelieferten Waren werden zwar beim Eingang in das Kaufhauslager sowie beim Verkauf registriert, bei der Ausgabe der Waren aus dem Kaufhauslager und dem Aufbau der Waren auf den Kaufhausregalen findet aber keine Registrierung statt. So kann es zwar nachvollzogen werden, wie viel von eingekauften Waren verkauft wurden, eine automatische Schätzung dessen, zu welchem Teil die Waren aus dem Kaufhauslager in die Warenauslagen auf den Regalen gewandert sind, ist nicht möglich. Diese Erfassung wird von Mitarbeitern des Kaufhauses persönlich durchgeführt, und zwar so, dass sie die Warenauslagen periodisch besichtigen und den Warenbestand kontrollieren. Dies führt zu hohen Personalkosten.
Die zurzeit eingesetzten Techniken ermöglichen eine permanente Bestandsaufnahme entweder unter der Voraussetzung von hohen zusätzlichen Personalkosten (Inventur „von Hand") oder unter der Voraussetzung von hohen Zusatzkosten zur Markierung einzelner Gegenstände mit Sendersystemen und zur Anschaffung von entsprechenden Empfangseinheiten.
Bei den Inventuren „von Hand" werden für gewöhnlich die mit einer maschinenlesbaren Schrift (Strichcode) versehenen Waren mit optischen Abtastern (Strichcode-Lesegeräten) einzeln erfasst, die Informationen werden gelesen und maschinell verarbeitet.
Die Patentschrift DE 698 30 690 T2 2006.01.12 beschreibt solch eine Vorrichtung und das entsprechende Verfahren zum Lesen eines Strichkodes sowie das computerlesbare Medium.
Bei den automatischen Systemen zur Bestandserfassung werden alle Waren einzeln mit zusätzlichen Geräten (RFID-Transponder, Smart Label) versehen, was zu hohen Zusatzkosten führt und zurzeit nur bei hochwertigen Waren eingesetzt wird. Die Funkerkennung (engl.: Radio Frequency Identification, RFID) ist eine Methode, die Daten auf einem RFID-Transponder berührungslos und ohne Sichtkontakt zu lesen und zu speichern. Bei Smart Label können ultraflache Transponder zwischen Papierschichten eingebracht und so in Etiketten integriert werden.
Die USA-Offenlegungsschrift 2003/0214387 A1 beschreibt eine Methode und ein System zur Bestandsaufnahme und Ortsbestimmung mit Hilfe von RFID-Chips. Die deutsche Offenlegungsschrift DE 10 2004 041 491 A1 2006.03.09 offenbart ein RFID-basierendes System zur Erfassung, Verwaltung und/oder Steuerung des Zugriffs auf Fächer eines Lagers. Die deutsche Patentschrift DE 100 58 693 C1 erörtert einen neuen Datenspeicher zur Kennzeichnung beweglicher Teile.
Es sind auch Systeme vorhanden, bei denen die Ermittlung des Warenbestandes mit Hilfe mechanischer Vorrichtungen realisiert wird. Die deutsche Gebrauchsmusterschrift DE 20 2004 004 764 U1 2005.10.06 beschreibt solch einen Warenbehälter zum Lagern und Ausgeben von Zigarettenschachteln oder dergleichen Verpackungseinheiten. Der Nachteil dieser Vorgehensweise ist offensichtlich – die Anschaffung spezieller Verkaufsgeräte ist teuer.
Bei der in unserer Erfindung realisierten Idee wird die Schätzung von Objektbeständen aus einer automatischen Analyse der von einem oder mehreren Sensoren für elektromagnetische Strahlung erzeugten Bildsequenzen durchgeführt.
Überwachungssysteme, die auf einer Analyse von Bildsequenzen basieren, sind weit verbreitet. Seit einigen Jahrzehnten werden zum Beispiel Videoüberwachungssysteme eingesetzt, bei denen die ganze Auswertung oder ihr Großteil über eine Situationsanalyse seitens eines menschlichen Beobachters abläuft. Typischerweise werden dabei Bildsequenzen, erzeugt von einem oder mehreren Sensoren, welche auf die zu überwachenden Bereiche der realen Welt ausgerichtet sind, auf einem oder mehreren Bildschirmen dargestellt und von einer oder mehreren Personen beobachtet. Beim Auftreten von unerlaubten Situationen in den Sequenzen werden entsprechende Sicherheitsmaßnahmen eingeleitet.
Die deutsche Gebrauchsmusterschrift DE 200 17 009 U1 offenbart solch ein Überwachungssystem für Objekte, wie Gebäude und Areale.
Die deutsche Veröffentlichungsschrift DE 100 84 543 T1 der internationalen Patentschrift mit der Veröffentlichungsnummer WO 00/72573 legt zum Beispiel ein Verfahren und Vorrichtungen für ein Bildserver-Überwachungssystem offen. Das System ist vorgesehen als Steuerung und Koordination von Kameras, die weit verstreut aufgestellt sein können.
Die deutsche Gebrauchsmusterschrift DE 201 11 762 U1 stellt eine Überwachungsanlage für mindestens eine Warenauslage dar. Diese spezielle Ausführung der Anlage besteht aus mindestens einem in einem Abstand von der Auslage angebrachten Gehäuse, welches mindestens eine Kamera enthält und wird dadurch gekennzeichnet, dass das Gehäuse rohrförmig ist und die optische Achse der Kamera insbesondere im Wesentlichen senkrecht zur Rohrachse liegt. Die Optik der Kamera blickt durch eine Öffnung im Mantel des Gehäuses radial nach außen, die Anlage weist eine vom Gehäuse entfernte Videoanlage auf, die eingerichtet ist, um von der Kamera aufgenommene Bilder anzuzeigen.
Im letzten Jahrzehnt wurden verstärkt Versuche unternommen, die Analyse der Bildinhalte mit Hilfe von Ansätzen aus Computer Vision zu automatisieren. Durch die gestiegene Rechenleistung wurde es tatsächlich ermöglicht, automatische Analysesysteme aus dem Bereich der wissenschaftlichen Forschung in den Bereich der kommerziellen Vermarktung zu überführen.
Die europäische Patentschrift DE 699 21 237 T2 2006.02.02 offenbart eine automatische Videoüberwachungsanlage. Die Erfindung bezieht sich im Spezielleren auf ein Verfahren für die Abbildung der physischen Position eines Objekts von einem Videobild auf eine Karte eines überwachten Gebiets.
Die Offenlegungsschrift DE 10 2004 040 941 A1 2006.03.09 beschreibt eine bildgebende Sicherheitsüberwachungsvorrichtung. In der Offenlegungsschrift DE 10 2004 043 816 A1 2006.03.23 wird ein Videoüberwachungssystem und ein Verfahren zu dessen Betrieb beschrieben.
Neben der Automatisierung der Bildanalyse zwecks Gewährleistung einer hohen Überwachungsqualität eröffnen sich viele weitere Einsatzbereiche, so wie die Schätzung von Objektbeständen.
Ein System zu einer automatischen Klassifikation und zum Zählen von Menschen und zu ihnen zugehörigen Objekten wie Einkaufswagen aus Bildern wird in der USA-Veröffentlichungsschrift US 2004/0179736 A1 offenbart. Diese Erfindung beschäftigt sich aber nicht mit den Produktauslagen.
Die beschriebene Aufgabe der Erfindung wird nach Merkmalen des Anspruches 1 gelöst. Ein Beispielaufbau ist in 1 dargestellt. Das System besteht aus mindestens einem Sensor S zur Erfassung von elektromagnetischer Strahlung und zur Erzeugung von Bildsequenzen, mindestens einer Speichereinheit SE und mindestens einer Einheit zur Analyse des Sensorsignals A. Das vom Sensor S erzeugte Signal 1 wird in der Einheit zur Analyse des Sensorsignals A mit Hilfe der aus der Speichereinheit SE mittels Anforderungsnachricht 2 angeforderten Daten 3 analysiert. Die Analyseergebnisse 4 werden gespeichert und/oder weitergeleitet.
Bei der vorteilhaften Ausprägung des Systems und des Verfahrens nach Merkmalen des Anspruches 2 sind die Einheit zur Analyse des Sensorsignals, die Speichereinheit und das entsprechende Verfahren so ausgeprägt, dass vom System die Funktionalität eines Sicherheitsüberwachungssystems übernommen wird oder übernommen werden kann. Unter die Aufgaben des Systems fallen dann zum Beispiel die Diebstahlsicherung (Erkennung von verschwundenen Objekten), die Vandalismussicherung (Erkennung von Graffitysprayer), Erkennung von vergessenen Objekten, Schutz verbotener Bereiche usw. Im Einzelnen heißt es, dass erstens die Einheit zur Analyse des Sensorsignals an zusätzliche Aufgaben angepasst wird, angefangen mit der Realisierung von zusätzlichen Funktionalitäten wie das Tracking von Objekten, die Raucherkennung, die Erkennung von ungewöhnlich schnellen Bewegungen im Erfassungsbereich des Sensors, bis hin zu den Möglichkeiten des Erkennens von komplexen Alarmszenarien und der Formulierung entsprechender Nachrichten. Die dafür benötigten Funktionen, Methoden und Datensätze werden in der Speichereinheit gespeichert und von der Einheit zur Analyse des Sensorsignals aufgerufen. Die Anbringung des Sensors bzw. der Sensoren kann auch entsprechend geändert werden, so dass nicht nur die zu beobachtenden Objekte, sondern auch die zur Erfüllung von Sicherheitsfunktionalitäten wichtigen Bereiche wie Türen, Fenster, Gänge usw. im Erfassungsbereich liegen.
Bei der Weiterführung des Systems und des Verfahrens nach Merkmalen des Anspruches 3 sind die Speichereinheit und die Einheit zur Analyse des Sensorsignals so ausgeführt sowie das entsprechende Verfahren so definiert, dass das System zu Zwecken der Marktforschung eingesetzt wird oder eingesetzt werden kann. Analog zu der im vorherigen Absatz beschriebenen Vorgehensweise werden die Bestandteile des Systems und die Art der Anbringung des Sensors bzw. der Sensoren an die Aufgaben der Marktforschung angepasst. Das kann zum Beispiel dadurch realisiert werden, dass die durchschnittliche Bewegungsaktivität und die Verweildauer in den einzelnen Produkten oder Werbeaushängen zugeordneten Erfassungsbereichen der Sensoren berechnet werden, dass die lokalen Aktivitätsmaxima festgehalten werden und mit den erfolgten Verkäufen verglichen werden, dass die langen Schlangen vor Kassen oder Ausgängen erkannt werden.
Bei der vorteilhaften Ausprägung des Systems und des Verfahrens nach Merkmalen des Anspruches 4 sind die Speichereinheit und die Einheit zur Analyse des Sensorsignals so ausgeführt und das entsprechende Verfahren so definiert, dass das System zur Planung und/oder zur Optimierung der Objektplatzierung eingesetzt wird oder eingesetzt werden kann.
Diese Anpassung des Systems kann zum Beispiel dadurch realisiert werden, dass die in der Speichereinheit enthaltenen Pläne der Regalbelegungen mit den Ergebnissen der kontinuierlichen Schätzung der Objektbestände in Beziehung gebracht werden und dass die Auswertung von Informationen über die Produktbewegungen bei der Planung und/oder der Optimierung von Objektplatzierungen verwendet wird.
Bei der vorteilhaften Ausprägung des Systems und des Verfahrens nach Merkmalen des Anspruches 5 sind die Speichereinheit und die Einheit zur Analyse des Sensorsignals so ausgeführt und das entsprechende Verfahren so definiert, dass das System zur Verkehrsüberwachung eingesetzt wird oder eingesetzt werden kann. Diese Anpassung des Systems kann zum Beispiel dadurch realisiert werden, dass ein zusätzliches Modul für die Erkennung von Menschen und Autos eingebaut und so verwendet wird, dass man Personen auf der Autobahn erkennen und/oder Autos auf dem Parkplatz zuverlässig zählen kann.
Bei der Ausprägung des Systems und des Verfahrens nach Merkmalen des Anspruches 6 werden die Einheit zur Analyse des Sensorsignals und die Speichereinheit so ausgeführt sowie das entsprechende Verfahren so definiert, dass eine Erkennung von optischen Markierungen stattfindet. Das kann durch ein integriertes System zur Mustererkennung realisiert werden, wobei die Speichereinheit um die entsprechenden Datensätze und die Vergleichsvorschriften (Funktionen und Methoden) und die Einheit zur Analyse des Sensorsignals um die Möglichkeiten derer Aufrufe erweitert werden. Bei dieser Ausführung kann es sich zum Beispiel um die Erkennung von Nummerschildern von Autos oder um die Erkennung von Produktverpackungen handeln.
Bei der vorteilhaften Ausführung des Systems und des Verfahrens nach Anspruch 7 erhalten Gegenstände im Erfassungsbereich des Sensors spezielle Markierungen.
Die Ausprägung des Systems und des Verfahrens nach Anspruch 8 ist dadurch gekennzeichnet, dass es sich bei speziellen Markierungen um optische Markierungen wie Farben, Muster, Texturen, Schriften, Strichcodes und ähnliches handelt. Durch diese vorteilhafte Ausführung wird die Analyse der Bildinhalte erheblich vereinfacht.
Bei der Weiterführung des Systems und des Verfahrens nach Merkmalen des Anspruches 9 werden die Einheit zur Analyse des Sensorsignals und die Speichereinheit so ausgeführt, dass eine Unterscheidung zwischen den zu überwachenden Gegenständen und anderen beweglichen Objekten im Erfassungsbereich des Sensors stattfindet. Diese Ausführung des Systems setzt eine Erweiterung um Methoden, Funktionen und Datensätze zur Klassifizierung der Objekte voraus. Diese Klassifizierung kann zum Beispiel über die Beurteilung von Kanten, Texturen, Farben und Größen der segmentierten Bereiche sowie über das Tracking und eine Beurteilung von Bewegungscharakteristika stattfinden. Ein Beispielablauf ist in 7 visualisiert.
Die Ausprägung des Systems und des Verfahrens nach Merkmalen des Anspruches 10 ist dadurch gekennzeichnet, dass eine Erfassung von Objektströmen im Erfassungsbereich des Sensors stattfindet, wobei als Objekte sowohl Lebewesen wie Menschen und Tiere als auch Gegenstände gemeint sind. Dies kann zum Beispiel dadurch realisiert werden, dass Objekte als Einzelobjekte vom System erkannt und mit einem Tracking-Modull verfolgt werden oder dass nur eine Erfassung von Bewegungsströmen im Sinne von Strömen der Grauwerten in Kamerabildern durchgeführt wird.
Bei der Ausführung des Systems und des Verfahrens nach Anspruch 11 wird die Einheit zur Analyse des Sensorsignals so ausgeführt, dass die Schätzung von Objektbeständen durch den Vergleich des aktuellen Bildes mit mindestens einem Referenzbild stattfindet.
Bei der Ausführung des Systems und des Verfahrens nach Anspruch 12 wird die Einheit zur Analyse des Sensorsignals so ausgeführt, dass die Schätzung von Objektbeständen durch den Vergleich des aktuellen Bildes mit mindestens zwei Referenzbildern stattfindet.
Die Ausprägung des Systems und des Verfahrens nach Anspruch 13 ist dadurch gekennzeichnet, dass Regionen im Erfassungsbereich des Sensors bestimmten Objekten oder Objektgruppen zugeordnet werden.
Die Ausprägung des Systems und des Verfahrens nach Anspruch 14 ist dadurch gekennzeichnet, dass Regionen im Erfassungsbereich des Sensors bestimmten Strichcodes oder Teilen der Strichcodes zugeordnet werden.
Ein Beispiel für die Ausprägung des Systems und des Verfahrens nach Ansprüchen 13 und/oder 14 ist in 2 dargestellt.
Im Weiteren werden einige Ausführungsbeispiele vorgestellt.
Als erstes Ausführungsbeispiel wird es hier der Einsatz des Systems und des Verfahrens in einem Kaufhaus erörtert. Das System besteht aus einer Mehrzahl von Sensoren, hier: Videokameras, die vorzugsweise fest und auf eine solche Art und Weise angebracht werden, dass möglichst wenig Verdeckungen einer Warengruppe durch eine andere entstehen. Dies kann zum Beispiel bei einer Aufhängung der Kameras frontal von oben realisiert werden, so dass Kamerabilder wie in 2 OB generiert werden.
In der Initialisierungsphase des Verfahrens werden die Eigenschaften von Regionen der realen Welt im Erfassungsbereich des Sensors festgehalten, welche im normalen Betrieb des Kaufhauses statisch sind: Die Farbe, die Textur sowie die geometrischen Eigenschaften der Wände, des Fußbodens, der leeren Regale usw. Diese Regionen werden im Weiteren als statischer Hintergrund bezeichnet. Die Registrierung findet durch einfaches Speichern entsprechender Referenzbilder/Referenzansichten für jede Kamera und/oder durch eine zusätzliche Extraktion von globalen (für eine Mehrzahl von Kameras gültigen) oder lokalen (gültig für eine Kamera) oben beschriebenen Eigenschaften. Bei der zweiten Variante kann somit eine Unabhängigkeit von der Kameraposition gewährleistet werden, so dass eine feste Verankerung der Kameras nicht notwendig ist. Die gewonnen Daten werden in Datenstrukturen unterschiedlicher Form (Arrays, Listen, Warteschlangen usw.) in die Speichereinheit geschrieben. In der Speichereinheit werden auch Vorschriften (Funktionen, Methoden) für den Zugriff und die Verarbeitung der Daten definiert und festgehalten, auf die bei der Analyse des Sensorsignals in der entsprechenden Analyseeinheit zugegriffen wird. Die Referenzbilder werden im Weiteren als statische Referenzbilder bezeichnet.
Auf eine ähnliche Art und Weise findet die Registrierung von Warengruppen und einzelnen Produkten statt: In einer Datenbank werden Datensätze für Warengruppen und einzelne Produkte angelegt, wobei unterschiedliche Informationen wie die entsprechenden Strichkodes, Beschriftungsmuster, Farb- und Texturmuster, geometrische Eigenschaften wie Größe, Form, verwaltungstechnische Daten wie das Lieferdatum, die Lagerungsbedingungen, die Lagerungsfristen, der Name des Lieferanten und ähnliches gespeichert werden. Besonders bei größeren Produkten (Kühlschränke, Möbelstücke usw.) oder wertvollen (Schmuck, Gemälde usw.) Gegenständen ist die Beschreibung nicht nur über Produktgruppen-Eigenschaften, sondern über die Eigenschaften dieser besonderen Einzelstücke sinnvoll. Die gewonnen Daten werden in Datenstrukturen unterschiedlicher Form (Arrays, Listen, Warteschlangen usw.) in der Speichereinheit festgehalten. In der Speichereinheit werden auch Vorschriften (Funktionen, Methoden) für den Zugriff und die Verarbeitung der Daten definiert und festgehalten, auf die bei der Analyse des Sensorsignals in der entsprechenden Analyseeinheit zugegriffen wird.
Zusätzlich kann eine Kalibrierung der Kameras durchgeführt werden, so dass die intrinsischen (die Brennweite, den Brennpunkt, die Skalierungsfaktoren) und die extrinsischen (die Position und die Ausrichtung) Kameraparameter ermittelt werden. Durch die Kalibrierung werden Bildsequenzen, die von den Kameras erzeugt werden, Bereichen der realen Welt zugeordnet. Somit kann die Übergabe von beweglichen Objekten von einer zu der nächsten Kamera realisiert werden, was wichtig ist, wenn zu Zwecken der Marktforschung und/oder zu Sicherheitszwecken das Verhalten der Kaufhauskunden automatisch analysiert werden soll. Es sind beispielsweise Informationen darüber von Interesse, welche Gänge des Kaufhauses öfter frequentiert werden, an welchen Regalen Kunden zwar anhalten, aber wenig kaufen, wie sich eine neu eingeführte Verpackung eines Produktes auf das Kaufverhalten der Kunden auswirkt usw. Zu Sicherheitszwecken kann es notwendig sein, den Weg eines auffällig gewordenen Kunden durch das Kaufhaus oder die Bewegungstrajektorie verschwundenen Waren und die entsprechenden Bildsequenzen zu ermitteln und ähnliches.
Die Kamerakalibrierung ist besonders wichtig, wenn sich die Erfassungsbereiche von einigen Kameras überlappen – so kann das Umrechnen der Daten des Kamerabildes einer Kamera in das Kamerabild einer anderen Kamera gewährleistet werden. Die Genauigkeit der Schätzung wird dadurch erhöht, zum Beispiel insofern, dass die Berechnungen getrennt durchgeführt werden und dass die Schätzungsergebnisse aus einer Kamera mit Hilfe von Schätzungsergebnissen aus einer anderen Kamera verifiziert werden. Eine andere Möglichkeit ist es, die parallelen Bildsequenzen mit Hilfe von Methoden der Stereogeometrie zusammen zu verarbeiten – so können die zwei Ansichten in eine Tiefenkarte des überlappenden Bereichs überführt werden.
Für die Durchführung der Kamerakalibrierung können unterschiedliche Techniken verwendet werden, in unserer Erfindung wird aber vorzugsweise die Kamerakalibrierung mit einem Testobjekt eingesetzt. Die Kalibrierungsergebnisse werden in eine Matrix in der Speichereinheit geschrieben und bei der Umrechnung der Bilddaten von einer Kamera in die andere Kamera oder beim Umrechnen der Bilddaten in die Weltkoordinaten in der Einheit zur Analyse des Sensorsignals verwendet.
Die Zuordnung der Waren den Bildbereichen kann auf unterschiedlichen Wegen gestaltet sein, zum Beispiel dadurch, dass an einzelne Regalbereiche des Kaufhauses Identifikationsnummer vergeben werden und in der Initialisierungsphase des Verfahrens eine Zuweisung der Strichcodes der Produktgruppen diesen Identifikationsnummern stattfindet. Die Zuordnung kann auch, wie es in 2 dargestellt ist, für den Benutzer bequem auf dem grafischen Wege stattfinden, zum Beispiel dadurch, dass der Benutzer mit Hilfe von grafischer Software Bereiche im Kamerabild (unterschiedlich markierte Bereiche OG1 bis OG9 in 2) auswählt und den Objektgruppen mit den entsprechenden Datensätzen DS zuweist. Der Datensatz DS1 in 2 beinhaltet, zum Beispiel, den Strichkode, die Produktgruppennummer PG1, die Textur T1, das Farbhistogramm FH1, die Etikettenbeschriftung OE1 und ähnliches.
Typischerweise wird bei den automatischen Systemen zur Bildanalyse ein aktuelles Kamerabild mit einem statischen Referenzbild verglichen, das die Eigenschaften der Hintergrundbereiche wie Wände, Regale, Produktauslage usw. festhält. Für unsere Erfindung ist es aber wichtig, auf die geänderte Situation im Erfassungsbereich der Kameras reagieren zu können: Waren werden entfernt, es kommen neue Waren hinzu, andere Gegenstände wie Einkaufswagen werden stehen gelassen usw. Die Berücksichtigung der Situationsänderungen findet durch eine Aktualisierung des Referenzbildes, so dass ein virtuelles temporäres Referenzbild entsteht.
In 3 und 5 ist die Funktionsweise des Systems kurz dargestellt. Der im virtuellen temporären Referenzbild Im1 in 5 enthaltene Gegenstand G wird vom Kunden aus dem Regal genommen und in den Einkaufswagen gepackt, so dass in einem nach einiger Zeit aufgenommenen Bild Im2 der Gegenstand nicht mehr vorhanden ist. Bei dem Vergleich der zwei Bilder erkennt das System, dass die Pixelwerte im Bereich Gh im Bild Im1 und im Bild Im2 nicht übereinstimmen. Der grundsätzliche Verfahrensablauf ist aus der 3 ersichtlich.
In 6 und 7 sind alternative Vorgehensweisen für die Weiterverarbeitung der Informationen dargestellt. Die Frage, ob ein Nachfüllen der Regale notwendig ist, wird beim in 6 dargestellten Verfahren über einen Vergleich der geänderten Bildregionen mit den charakteristischen Mustern für den statischen Hintergrund beantwortet. Bei dem in 7 dargestellten Verfahren findet Tracking der segmentierten Regionen statt, so dass einerseits die Genauigkeit der Schätzungen erhöht wird und andererseits ein gleichzeitiges Verfolgen der Kundenbewegungen möglich ist. Wenn die das Tracking von einzelnen Objekten nicht erwünscht ist, kann auf eine vereinfachte Variante des Verfahrens gegriffen werden, bei dem man bei der Suche nach geänderten Bildregionen nicht das aktuelle Bild mit dem Referenzbild vergleicht, sondern zwei temporäre Referenzbilder RB1 und RB2, die zu unterschiedlichen Zeitpunkten erstellt wurden. In 8 ist der grundsätzliche Ablauf visualisiert.
Beim zweiten Ausführungsbeispiel werden im Erfassungsbereich des Sensors spezielle Markierungen verwendet und zwar optische Markierungen wie Farben, Muster, Texturen, Schriften, Strichcodes und ähnliches. Solch eine vorteilhafte Ausführung vereinfacht die Analyse der Bildinhalte erheblich: Statt des aufwendigen und komplexen Objektrackings kann hier das Analyseverfahren darauf beschränkt werden, die Bildinhalte von Zeit zurzeit nach den Markierungen abzusuchen. In 4 und 8 sind Beispiele für die mögliche Realisierung der Markierung und des entsprechenden Verfahrens dargestellt: An die unterschiedlichen Regalbereiche R1 bis R3 werden charakteristische Muster angebracht, die in der Speichereinheit in Beziehung mit entsprechenden Regale und Regalbereichen und/oder Produkten oder Produktgruppen gesetzt. Das Bild wird in kleinen Zeitabständen darauf überprüft, ob sich die Flächen der erkannten charakteristischen Muster vergrößern, was auf eine Entfernung der Waren aus dem Regal schließen lässt. Bei der Überschreitung einer festgelegten Flächengröße wird die Notwendigkeit eine Präsenzlücke erkannt und die Notwendigkeit eines Nachfüllens des Regals gemeldet.
Die Erkennung von Markierungen wie Beschriftungen kann in vielen Anwendungen sehr hilfreich sein, bei denen eine automatische Erfassung von Objektbeständen erwünscht ist. Bei der Steuerung und bei der Verwaltung von Parkhäusern ist es zum Beispiel viel einfacher, nach schriftähnlichen Mustern im Bild zu suchen und beim Auffinden von entsprechenden Kandidaten die Erkennung von Nummerschildern zu starten und so die Autos zu zählen und zu registrieren, als die Realisierung des Zählens von Autos mit Hilfe eines aufwendigen Objekterkennungs- und Trackingmoduls.
Das gleiche Prinzip kann auch bei der Inventur von großen Gerätschaften in der Industrie verwendet werden, unter der Voraussetzung, dass die mit der Kennzeichnung versehenen Flächen für die Kameras sichtbar sind. Bei der Kennzeichnung kann es sich um beliebige Markierungen handeln, die das Gerät eindeutig identifizieren, wie zum Beispiel die vergrößerte Abbildung des Strichcodes oder die vergrößerte Abbildung der Gerätenummer. Bei einer jährlichen oder auch kontinuierlichen Inventur würde es dann vollkommen ausreichen, dass das System die Kamerabilder auswertet und die Beschriftungen erkennt oder auch einfach die Übereinstimmung mit dem für jedes Gerät gespeicherten Muster feststellt.
Alternativ kann die Inventur dadurch realisiert werden, dass das System die Kamerabilder vom Anfang und vom Ende des Jahres vergleicht, die einzelnen Geräte segmentiert und die Übereinstimmungen zwischen einzelnen Segmenten in beiden Bildern feststellt.
Die verwendeten Sensoren für die Erfassung von elektromagnetischer Strahlung und für die Generierung von Bildsequenzen können nach Merkmalen des Anspruches 14 besonders vorteilhaft angebracht werden, und zwar so, dass sich die Erfassungsbereiche von mindestens zwei Kameras überlappen. Diese Kameraanordnung bringt den Vorteil, mit den Methoden von Computer Vision die relative oder sogar die absolute räumliche Entfernung der Gegenstände von der Sensorebene und die relativen Abmessungen der Objekte in Verhältnis zueinander oder sogar die absoluten Objektabmessungen schätzen zu können. Dadurch können Schätzungen der Objektbestände als Zählungen der von den Regalen entfernten Gegenständen vereinfacht werden, die Unterscheidung der Objekte voneinander wird durch die Kenntnis der Objektabmessungen auch einfacher.
Wenn nicht nur zwei, sondern mehrere Sensoren einen Erfassungsbereich überwachen, sind sogar Schätzungen der dreidimensionalen Form der im Bereich enthaltenen Objekte möglich. Diese Schätzungen können mit Multi-View-Techniken oder mit Techniken der Schätzung der dreidimensionalen Form aus der Silhouette durchgeführt werden. Dies kann zum Beispiel dazu verwendet werden, das Volumen von großvolumigen und kontinuierlich formändernden Objekten wie Anlagerungen von geförderten Massenrohstoffen (Kies, Sand, Ton) zu schätzen.
Wie aufgeführt, kann die beschriebene Erfindung in vielen Bereichen des Wirtschaftslebens zu einer automatischen Schätzung von Objektbeständen verwendet werden. Da die fast überall vorhandenen Überwachungskameras in das System integriert werden können, ist der Einsatz der Erfindung besonders kostengünstig.

A: Einheit zur Analyse des Sensorsignals
DS1, DS2: Datensätze 1 und 2
FH1, FH2: Farbhistogramme 1 und 2
G: Gegenstand
Im1, Im2: Bild 1 und Bild 2
OB: Originalbild
OG1 bis OG9: Objektgruppen 1 bis 9
PG1, PG2: Produktgruppen 1 und 2
RB1, RB2: Temporäre Referenzbilder 1 und 2
S: Sensor zur Erfassung von elektromagnetischer Strahlung
SE: Speichereinheit
SB: Segmentiertes Bild
T1, T2: Texturmuster 1 und 2
W: Erfassungsbereich des Sensors in realer Welt
1: Sensorsignal
2: Anforderungsnachricht
3: Daten, enthalten in der Speichereinheit SE
4: Analyseergebnisse

Claims

System und Verfahren zur Schätzung von Objektbeständen, dadurch gekennzeichnet, dass das System aus mindestens einem Sensor zur Erfassung von elektromagnetischer Strahlung und zur Erzeugung von Bildsequenzen, mindestens einer Speichereinheit und mindestens einer Einheit zur Analyse des Sensorsignals besteht.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Speichereinheit und die Einheit zur Analyse des Sensorsignals so ausgeführt sind sowie das entsprechende Verfahren so definiert ist, dass vom System die Funktionalität eines Sicherheitsüberwachungssystems übernommen wird oder übernommen werden kann.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Speichereinheit und die Einheit zur Analyse des Sensorsignals so ausgeführt sind sowie das entsprechende Verfahren so definiert ist, dass das System zu Zwecken der Marktforschung eingesetzt wird oder eingesetzt werden kann.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Speichereinheit und die Einheit zur Analyse des Sensorsignals so ausgeführt sind sowie das entsprechende Verfahren so definiert ist, dass das System zur Planung und/oder zur Optimierung der Objektplatzierung eingesetzt wird oder eingesetzt werden kann.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Speichereinheit und die Einheit zur Analyse des Sensorsignals so ausgeführt sind sowie das entsprechende Verfahren so definiert ist, dass das System zur Verkehrsüberwachung eingesetzt wird oder eingesetzt werden kann.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einheit zur Analyse des Sensorsignals und die Speichereinheit so ausgeführt werden sowie das entsprechende Verfahren so definiert ist, dass eine Erkennung von optischen Markierungen stattfindet.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Gegenstände im Erfassungsbereich des Sensors spezielle Markierungen erhalten.
System und Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass es sich bei speziellen Markierungen um optische Markierungen wie Farben, Muster, Texturen, Schriften, Strichcodes und ähnliches handelt.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einheit zur Analyse des Sensorsignals und die Speichereinheit so ausgeführt werden sowie das entsprechende Verfahren so definiert wird, dass eine Unterscheidung zwischen den zu überwachenden Gegenständen und anderen beweglichen Objekten im Erfassungsbereich des Sensors stattfindet.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einheit zur Analyse des Sensorsignals so ausgeführt wird sowie das entsprechende Verfahren so definiert wird, dass eine Erfassung von Objektströmen im Erfassungsbereich des Sensors stattfindet, wobei als Objekte sowohl Lebewesen wie Menschen und Tiere als auch Gegenstände gemeint sind.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einheit zur Analyse des Sensorsignals so ausgeführt wird sowie das entsprechende Verfahren so definiert wird, dass die Schätzung von Objektbeständen durch den Vergleich des aktuellen Bildes mit mindestens einem Referenzbild stattfindet.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einheit zur Analyse des Sensorsignals so ausgeführt wird sowie das entsprechende Verfahren so definiert wird, dass die Schätzung von Objektbeständen durch den Vergleich des aktuellen Bildes mit mindestens zwei Referenzbildern stattfindet.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Regionen im Erfassungsbereich des Sensors bestimmten Objekten oder Objektgruppen zugeordnet werden.
System und Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Regionen im Erfassungsbereich des Sensors bestimmten Strichcodes oder Teilen der Strichcodes zugeordnet werden.
System nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens zwei Sensoren für die Erfassung von elektromagnetischer Strahlung und die Erzeugung von Bildsequenzen eingesetzt werden, deren Erfassungsbereiche in der realen Welt sich zumindest teilweise überlagern.
System nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei mindestens einem Sensor für die Erfassung von elektromagnetischer Strahlung und für die Erzeugung von Bildsequenzen um eine Videokamera handelt.