DE112017000631T5

DE112017000631T5 - Warenüberwachungsvorrichtung, warenüberwachungssysttem und warenüberwachungsverfahren

Info

Publication number: DE112017000631T5
Application number: DE112017000631.7T
Authority: DE
Inventors: Yuichi Matsumoto; Kazuma Yoshida
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-03-11
Filing date: 2017-02-15
Publication date: 2018-10-25
Also published as: GB201811049D0; US20190019285A1; GB2561500A; JP6238028B2; US10818006B2; JP2017162375A; WO2017154488A1

Abstract

Eine Warenüberwachungsvorrichtung umfasst: eine Bildabrufeinheit (51), die ein Verkaufsflächenbild im Zeitablauf sequenziell abruft; einen Mangelzustandsdetektor (52), der einen Mangelzustand von Waren, die auf einer Verkehrsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal detektiert, wenn die Bildabrufeinheit das Verkaufsflächenbild abruft; eine Dauererfassungseinheit (53), die eine Dauer des Mangelzustands erfasst, falls der Mangelzustand von Waren durch den Mangelzustandsdetektor detektiert wird; und einen Bildschirmgenerator (54), der ein Zustandsanzeigebild erzeugt, dessen Anzeigeform sich gemäß einer Länge der Dauer basierend auf einem Ausgabeergebnis der Dauererfassungseinheit ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Warenüberwachungsvorrichtung, die einen Mangelzustand von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild überwacht, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, ein Warenüberwachungssystem und ein Warenüberwachungsverfahren.
STAND DER TECHNIK
In Geschäften, wie beispielsweise Bedarfsartikelgeschäften, tritt, wenn Waren, die auf einer Verkaufsfläche ausgestellt werden, unzureichend sind, ein Entgang an Absatzmöglichkeiten ein, und dieser Entgang an Absatzmöglichkeiten beeinträchtigt den Umsatz des Geschäfts erheblich. Falls daher ein Warenmangel vorliegt, ist es notwendig, Warenverwaltungsarbeit (Wiederauffüllarbeit) schnell durchzuführen, um den Mangelzustand durch Nachfüllen der unzureichenden Waren zu beheben.
In Bezug auf solch eine Warenverwaltungsarbeit ist ein Warenüberwachungssystem bekannt (siehe PTL 1), das die Anzahl von Waren basierend auf dem Bild überwacht, das durch Abbilden eines Ausstellungsstandes erhalten wird, eine Zone auf dem Bild des Ausstellungsstandes spezifiziert, einen Basisbereich des Ausstellungstandes misst, die Anzahl von Waren in der Zone basierend auf dem Ergebnis bestimmt und das Analyseergebnis des Bildes in der Zone zusammen mit den Bilddaten des Ausstellungsstandes auf einer Anzeige basierend auf dem Bestimmungsergebnis anzeigt.
Zitationsliste
Patentliteratur
PTL 1: Ungeprüfte japanische Patentschrift Nr. 5-81552
KURZDARSTELLUNG DER ERFINDUNG
Bei der Technik des Standes der Technik ist es jedoch möglich, dass ein Ausstellungsstatus von Waren in einem Ausstellungsbereich überwacht und nötigenfalls ein Verkäufer zu Warenverwaltungsarbeit angewiesen wird, aber der Verkäufer die Warenverwaltungsarbeit nicht unbedingt prompt und adäquat gemäß der Anweisung ausführt, so dass es das Problem gibt, dass ein Benutzer möglicherweise die Situation der Verzögerung nicht erfasst, wenn die Warenverwaltungsarbeit verzögert wird.
Daher werden in der vorliegenden Offenbarung für einen Fall, in welchem die Warenverwaltungsarbeit zum Beheben des Mangelzustands der Waren verzögert wird, eine Warenüberwachungsvorrichtung, ein Warenüberwachungssystem und ein Warenüberwachungsverfahren bereitgestellt, die so konfiguriert sind, dass der Benutzer die Situation der Verzögerung leicht erfassen kann.
Die Warenüberwachungsvorrichtung der vorliegenden Offenbarung ist eine Warenüberwachungsvorrichtung, die einen Mangelzustand von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild überwacht, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird,: eine Bildabrufeinheit, die das Verkaufsflächenbild sequenziell abruft des Verkaufsflächenbildes, im Zeitablauf, einen Mangelzustandsdetektor, der den Mangelzustand von Waren detektiert Detektieren des Mangelzustands von Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal, wenn die Bildabrufeinheit das Verkaufsflächenbild abruft das Verkaufsflächenbild abgerufen wird, eine Dauererfassungseinheit, die eine Dauer des Mangelzustands erfasst Erfassen einer Dauer des Mangelzustands, falls der Mangelzustand der Waren durch den Mangelzustandsdetektor detektiert wird, und einen Bildschirmgenerator, der ein Zustandsanzeigebild erzeugt Erzeugen eines Zustandsanzeigebildes, dessen Anzeigeform sich gemäß einer Länge der Dauer basierend auf einem Ausgabeergebnis der Dauererfassungseinheit ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Außerdem ist das Warenüberwachungssystem der vorliegenden Offenbarung ein Warenüberwachungssystem, das einen Mangelzustand von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild überwacht, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, und eine Kamera, welche die Verkaufsfläche abbildet, um das Verkaufsflächenbild auszugeben, eine Servervorrichtung, die einen Überwachungsbildschirm, der das Verkaufsflächenbild umfasst, erzeugt und ausgibt, und eine Benutzerendgerätevorrichtung umfasst, die den Überwachungsbildschirm anzeigt, wobei die Servervorrichtung eine Bildabrufeinheit umfasst, sie ein Verkaufsflächenbild im Zeitablauf sequenziell abruft, einen Mangelzustandsdetektor, der einen Mangelzustand von Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal detektiert, wenn die Bildabrufeinheit sie das Verkaufsflächenbild abruft, eine Dauererfassungseinheit, die eine Dauer eines Mangelzustands erfasst, falls der Mangelzustand der Waren durch den Mangelzustandsdetektor detektiert wird, und einen Bildschirmgenerator, der ein Zustandsanzeigebild erzeugt, dessen Anzeigeform sich gemäß einer Länge der Dauer basierend auf dem Ausgabeergebnis der Dauererfassungseinheit ändert, um den Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Außerdem ist das Warenüberwachungsverfahren der vorliegenden Offenbarung ein Warenüberwachungsverfahren zum Veranlassen einer Informationsverarbeitungsvorrichtung zum Durchführen von Verarbeitung zum Überwachen eines Mangelzustands von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, umfassend ein sequenzielles Abrufen des Verkaufsflächenbildes im Zeitablauf, Detektieren des Mangelzustands von Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal, wenn das Verkaufsflächenbild abgerufen wird, Erfassen einer Dauer des Mangelzustands, falls der Mangelzustand von Waren detektiert wird, und Erzeugen eines Zustandsanzeigebild, dessen Anzeigeform sich gemäß einer Länge der Dauer ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Gemäß der vorliegenden Erfindung kann, da die Anzeigeform des Zustandsanzeigebildes sich gemäß einer Länge der Dauer des Mangelzustands von Waren ändert, der Benutzer die Situation der Verzögerung leicht erfassen, wenn die Warenverwaltungsarbeit zum Beheben des Mangelzustands der Waren verzögert wird.
Figurenliste

1 ist eine Gesamtkonfigurationsansicht eines Warenüberwachungssystems gemäß einer ersten Ausführungsform.
2 ist eine Draufsicht eines Geschäfts zum Beschreiben eines Aufbaus des Geschäfts und eines Installationszustands einer Kamera 1.
3 ist eine erläuternde Ansicht, die einen Zielbereich darstellt, der auf einem Verkaufsflächenbild festgelegt ist.
4 ist eine erläuternde Ansicht, die einen Übergangszustand eines Überwachungsbildes darstellt, das einen Mangelzustand von Waren zeigt.
5 ist eine Blockansicht, die eine Hardwarekonfiguration der Kamera 1, einer Servervorrichtung 2 und einer Benutzerendgerätevorrichtung 3 darstellt.
6 ist eine Funktionsblockansicht der Kamera 1 und der Servervorrichtung 2.
7 ist eine erläuternde Ansicht, die eine Situation darstellt, in welcher eine Anzeigeform eines Mangelzustandsbildes 61 sich gemäß einer Länge von Dauer ändert.
8 ist eine erläuternde Ansicht, die ein anderes Beispiel eines Zustandsanzeigebildes darstellt, das die Länge der Dauer zeigt.
9 ist eine erläuternde Ansicht, die einen Überwachungsbildschirm gemäß einer zweiten Ausführungsform darstellt.
10 ist eine Funktionsblockansicht der Kamera 1 und der Servervorrichtung 2 gemäß einer dritten Ausführungsform.
11 ist eine erläuternde Ansicht, die einen Überwachungsbildschirm gemäß der dritten Ausführungsform darstellt.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Gemäß einer ersten Offenbarung, die zum Lösen des oben erwähnten Problems gemacht wird, wird eine Warenüberwachungsvorrichtung bereitgestellt, die einen Mangelzustand von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild überwacht, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, eine Bildabrufeinheit, die das Verkaufsflächenbild Abrufen des Verkaufsflächenbildes im Zeitablauf sequenziell abruft, einen Mangelzustandsdetektor, der den Mangelzustand Detektieren des Mangelzustands von Waren detektiert, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal, wenn die Bildabrufeinheit das Verkaufsflächenbild abgerufen wird abruft, eine Dauererfassungseinheit, die eine Dauer Erfassen einer Dauer des Mangelzustands erfasst, falls der Mangelzustand der Waren durch den Mangelzustandsdetektor detektiert wird, und einen Bildschirmgenerator, der ein Zustandsanzeigebild erzeugt Erzeugen eines Zustandsanzeigebildes, dessen Anzeigeform sich gemäß einer Länge der Dauer basierend auf einem Ausgabeergebnis der Dauererfassungseinheit ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Da die Anzeigeform des Zustandsanzeigebildes sich gemäß der Dauer des Mangelzustands von Waren ändert, kann der Benutzer auf diese Weise die Situation der Verzögerung leicht erfassen, wenn die Warenverwaltungsarbeit zum Beheben des Mangelzustands von Waren verzögert wird.
Außerdem vergleicht der Mangelzustandsdetektor in einer zweiten Offenbarung die Verkaufsflächenbilder eines früheren Zeitpunkts und eines aktuellen Zeitpunkts, um einen Mangelbereich, der ein Bildschirmbereich ist, in welchem ein Mangelzustand von Waren auf dem Verkaufsflächenbild eintritt, basierend auf einem Unterschied zwischen den beiden Bildern zu detektieren.
Auf diese Weise ist es möglich, die Position des Mangelbereichs von Waren, das heißt die Position, in welcher ein Mangelzustand von Waren eintritt, leicht zu erhalten.
Außerdem erzeugt der Bildschirmgenerator in einer dritten Offenbarung ein Mangelbereichsbild, das den Mangelbereich darstellt, als das Zustandsanzeigebild und blendet das Mangelbereichsbild in einer entsprechenden Position auf dem Verkaufsflächenbild ein.
Auf diese Weise kann der Benutzer die Position, in welcher ein Mangelzustand von Waren eintritt, leicht erfassen.
Außerdem umfasst eine vierte Ausführungsform ferner eine Anzeigeelementfestlegungseinheit, die legt in einer vierten Offenbarung ein Anzeigeelement von mindestens einem von Farbe, Durchlässigkeit, Vorhandensein/Nichtvorhandensein einer Rahmenlinie und Stärke einer Rahmenlinie des Mangelbereichsbildes fest festlegt, das gemäß einer Bedieneingabe durch den Benützer geändert werden kann.
Auf diese Weise kann der Benutzer ein Anzeigeelement des Mangelbereichsbildes entsprechend auswählen. In diesem Fall kann die Dauer des Mangelzustands durch das Anzeigeelement des Mangelbereichsbildes dargestellt werden.
Außerdem zeigt der Bildschirmgenerator in einer fünften Offenbarung Zeichen, die eine Prioritätsreihenfolge darstellen, die gemäß der Länge der Dauer festgelegt wird, in der Nachbarschaft des Mangelbereichsbildes auf dem Verkaufsflächenbild an.
Auf diese Weise ist es möglich, die Prioritätsreihenfolge leicht zu erfassen, wenn der Benutzer mit der Warenverwaltungsarbeit beginnt.
Außerdem umfasst eine sechste Ausführungsform ferner eine Prioritätsfestlegungseinheit, die legt in einer sechsten Offenbarung die Priorität des Mangelbereichs basierend auf anderen Bewertungsinformationen über die Verkaufsfläche und die Waren als der Länge der Dauer fest festlegt, wobei der Bildschirmgenerator das Mangelbereichsbild so erzeugt, dass er die Priorität mit einem Anzeigeelement darstellt, das von dem Anzeigeelement verschieden ist, das die Länge der Dauer darstellt.
Auf diese Weise kann der Benutzer die Priorität der Warenverwaltungsarbeit aus verschiedenen Blickwinkeln erfassen.
Außerdem legt die Prioritätsfestlegungseinheit in einer siebten Offenbarung die Priorität des Mangelbereichs als die Bewertungsinformationen basierend auf mindestens einer von Informationen über einen Status von Kunden, die sich auf der Verkaufsfläche umschauen, Informationen über Verkäufe der Waren, Informationen über den Bestand der Waren, Informationen über die Lieferung der Waren und Informationen über Priorität-pro-Ware-Klassifikation fest.
Auf diese Weise kann der Benutzer Warenverwaltungsarbeit gemäß der Priorität unter Berücksichtigung der Beliebtheit einer Ware, des Umsatzes und dergleichen durchführen.
Außerdem bewirkt der Bildschirmgenerator in einer achten Offenbarung, dass das Zustandsanzeigebild in einer ersten Anzeigeform angezeigt wird, wenn der Mangelzustand von Waren erstmals durch den Mangelzustandsdetektor detektiert wird, und ändert das Zustandsanzeigebild in eine zweite Anzeigeform um, wenn die Dauer eine vorbestimmte Bezugszeit überschreitet.
Da die Dauer des Mangelzustands von Waren mit der Bezugszeit verglichen wird, und die Anzeigeform des Zustandsanzeigebildes stufenweise geändert wird, kann der Benutzer auf diese Weise die Länge der Dauer, das heißt die Dinglichkeit der Warenverwaltungsarbeit, leicht erfassen. Zusätzlich zum Ändern der Anzeigeform des Zustandsanzeigebildes in zwei Stufen kann die Anzeigeform des Zustandsanzeigebildes in drei oder mehr Stufen geändert werden.
Außerdem ruft die Bildabrufeinheit in einer neunten Offenbarung periodisch das Verkaufsflächenbild in vorbestimmten Zeiteinheitsintervallen ab und die Dauererfassungseinheit zählt die Verkaufsflächenbilder, in welchen der Mangelzustand durch den Mangelzustandsdetektor fortlaufend detektiert wird, und erfasst die Dauer basierend auf der Anzahl von Verkaufsflächenbildern, in welchen der Mangelzustand fortlaufend detektiert wird.
Auf diese Weise ist es möglich, die Dauer des Mangelzustands von Waren leicht zu erhalten.
Außerdem ist eine zehnte Offenbarung ein Warenüberwachungssystem, das einen Mangelzustand von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild überwacht, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, und eine Kamera, welche die Verkaufsfläche abbildet, um das Verkaufsflächenbild auszugeben, eine Servervorrichtung, die einen Überwachungsbildschirm, der das Verkaufsflächenbild umfasst, erzeugt und ausgibt, und eine Benutzerendgerätevorrichtung umfasst, die den Überwachungsbildschirm anzeigt, wobei die Servervorrichtung eine Bildabrufeinheit umfasst, die sequenziell das Verkaufsflächenbild im Zeitablauf abruft, einen Mangelzustandsdetektor, der den Mangelzustand von Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal detektiert, wenn die Bildabrufeinheit sie das Verkaufsflächenbild abruft, eine Dauererfassungseinheit, die eine Dauer des Mangelzustands erfasst, falls der Mangelzustand der Waren durch den Mangelzustandsdetektor detektiert wird, und einen Bildschirmgenerator, der ein Zustandsanzeigebild erzeugt, dessen Anzeigeform sich gemäß einer Länge der Dauer basierend auf einem Ausgabeergebnis der Dauererfassungseinheit ändert, um den Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Wie bei der ersten Offenbarung kann der Benutzer auf diese Weise die Situation der Verzögerung leicht erfassen, falls die Warenverwaltungsarbeit zum Beheben des Mangelzustands von Waren verzögert wird.
Außerdem ist eine elfte Offenbarung ein Warenüberwachungsverfahren zum Veranlassen einer Informationsverarbeitungsvorrichtung zum Durchführen von Verarbeitung zum Überwachen eines Mangelzustands von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, umfassend ein sequenzielles Abrufen des Verkaufsflächenbildes im Zeitablauf, Detektieren des Mangelzustands von Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal, wenn das Verkaufsflächenbild abgerufen wird, Erfassen einer Dauer des Mangelzustands, falls der Mangelzustand von Waren detektiert wird, und Erzeugen eines Zustandsanzeigebild, dessen Anzeigeform sich gemäß einer Länge der Dauer ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Wie bei der ersten Offenbarung kann der Benutzer auf diese Weise die Situation der Verzögerung leicht erfassen, falls die Warenverwaltungsarbeit zum Beheben des Mangelzustands von Waren verzögert wird.
Im Folgenden werden Ausführungsformen unter Bezugnahme auf Zeichnungen beschrieben.
(Erste Ausführungsform)
1 ist eine Gesamtkonfigurationsansicht eines Warenüberwachungssystems gemäß einer ersten Ausführungsform.
Dieses Warenüberwachungssystem ist für ein Einzelhandelskettengeschäft, wie beispielsweise ein Bedarfsartikelgeschäft und dergleichen, ausgelegt und umfasst eine Kamera 1, die für jede einer Mehrzahl von Geschäften (Standorten) vorgesehen ist, eine Servervorrichtung (Warenüberwachungsvorrichtung) 2 und eine Benutzerendgerätevorrichtung 3.
Die Kamera 1 ist an einem geeigneten Platz in einem Geschäft eingerichtet und bildet die Verkaufsfläche im Geschäft ab. Diese Kamera 1 ist über ein geschlossenes Netzwerk, wie beispielsweise ein geschäftsinternes Netzwerk, einen Router 4 und ein virtuelles lokales Netzwerk (VLAN - Virtual Local Area Network), mit der Servervorrichtung 2 verbunden. Außerdem wird in der Kamera 1 Bildverarbeitung zum Entfernen einer Person aus dem Bild durchgeführt, das innerhalb des Geschäfts aufgenommen wird, und ein Verkaufsflächenbild (verarbeitetes Bild), das durch diese Bildverarbeitung erhalten wird, wird aus der Kamera 1 ausgegeben.
Die Servervorrichtung 2 empfängt Verkaufsflächenbilder und dergleichen, die von der Kamera 1 gesendet werden, die im Geschäft installiert ist. Außerdem ist die Servervorrichtung 2 über das Internet mit der Benutzerendgerätevorrichtung 3 verbunden, erzeugt einen Überwachungsbildschirm, der von einem Benutzer betrachtet werden soll, um den Bildschirm an die Benutzerendgerätevorrichtung 3 zu verteilen, und erfasst Informationen, die durch den Benutzer auf dem Überwachungsbildschirm eingegeben werden.
Die Benutzerendgerätevorrichtung 3 ist durch ein Smartphone, ein Tablet-Endgerät und einen PC ausgebildet. In dieser Benutzerendgerätevorrichtung 3 wird ein Überwachungsbildschirm angezeigt, der von der Servervorrichtung 2 verteilt wird. Wenn dieser Überwachungsbildschirm vom Benutzer betrachtet wird, ist es möglich, die Situation im Geschäft zu erfassen.
Als Nächstes werden der Aufbau des Geschäfts und der Installationszustand der Kamera 1 beschrieben. 2 ist eine Draufsicht eines Geschäfts zum Beschreiben eines Aufbaus des Geschäfts und eines Installationszustands der Kamera 1.
Das Geschäft verfügt über Eingänge, Ausstellungsregale, Registrierkasse, Kochgeräte und dergleichen. Die Ausstellungsregale sind in Warenkategorien (Arten), wie beispielsweise Fastfood (FF), Reis (Waren, wie beispielsweise Reisbällchen, Lunchpakete und Sushi), Bäckerei, Dessert, Getränke, industriell verarbeitete Lebensmittel, Verschiedenes, frische Lebensmittel, Magazine, Zeitungen, eingeteilt, die installiert werden sollen. Die Kochgeräte werden zum Zubereiten von Fastfood, beispielsweise gebratenen Nuggets, im Geschäft verwendet, und ein Fastfood-Regal (FF-Fach) ist in der Nähe eines Kassentresens installiert. Wenn ein Kunde durch einen Eingang eintritt, bewegt er sich durch den Gang zwischen den Ausstellungsregalen, um durch das Geschäft zu gehen und eine gewünschte Ware zu finden, und der Kunde begibt sich mit der Ware zum Kassentresen und geht nach Abrechnungsabschluss (Zahlung der Ware) am Kassentresen durch einen Ausgang hinaus.
Außerdem ist im Geschäft eine Mehrzahl von Kameras 1 zum Abbilden der Verkaufsfläche installiert. Die Kamera 1 ist in eine geeigneten Position an der Decke im Geschäft installiert. Konkret wird in dem Beispiel, das in 2 dargestellt ist, eine omnidirektionale Kamera mit einem Abbildungsbereich von 360 Grad durch Verwenden eines Fischaugenobjektivs als die Kamera 1 eingesetzt, und durch diese Kamera 1 ist es möglich, Waren und dergleichen abzubilden, die auf den Ausstellungsregalen der Verkaufsfläche oder dergleichen ausgestellt sind.
Als Nächstes wird eine Übersicht über eine Bildverarbeitung beschrieben, die von der Servervorrichtung 2 durchgeführt wird. 3 ist eine erläuternde Ansicht, die einen Zielbereich darstellt, der auf einem Verkaufsflächenbild festgelegt ist. 4 ist eine erläuternde Ansicht, die einen Übergangszustand eines Überwachungsbildes darstellt, das einen Mangelzustand von Waren zeigt.
Wie in 3 dargestellt, legt der Benutzer in der vorliegenden Ausführungsform einen Zielbereich in dem Bereich, in welchem die Waren auf dem Verkaufsflächenbild angeordnet sind, fest, um einen Mangelzustand der Waren für jeden Zielbereich zu detektieren. Dann wird, wie in 4 dargestellt, das Mangelbereichsbild (Zustandsanzeigebild) 61, das den Zielbereich darstellt, in welchem der Mangelzustand detektiert wird, im Verkaufsflächenbild eingeblendet angezeigt. In dem Beispiel, das in 4 dargestellt ist, besteht das Mangelbereichsbild 61 aus einer Rahmenlinie, die den Umriss des Zielbereichs darstellt.
Die Beispiele, die in 3 und 4 dargestellt sind, sind Fastfood-Verkaufsflächen, und die Verkaufsflächenbilder zeigen Fastfood-Ausstellungsregale (FF-Fach). In dem Beispiel, das in 3 dargestellt ist, sind insgesamt sechs Zielbereiche, das heißt der linke und rechte der oberen Reihe, der rechte und linke der mittleren Reihe und der linke und rechte der unteren Reihe, im Fastfood-Ausstellungsregal festgelegt.
Außerdem wird in der vorliegenden Ausführungsform durch Messen der Dauer des Mangelzustands von Waren, das heißt der verstrichenen Zeit seit der Detektion des Mangelzustands bis zur Gegenwart, das Mangelbereichsbild 61 so angezeigt, dass die Anzeigeform sich gemäß der Länge der Dauer, das heißt der Dringlichkeit des Wiederauffüllvorgangs, ändert, wie in 4 dargestellt. Insbesondere wird in der vorliegenden Ausführungsform die Anzeigefarbe des Mangelbereichsbildes 61 gemäß der Dauer des Mangelzustands geändert. Konkret wird die Anzeigefarbe des Mangelbereichsbildes 61 mit zunehmender Länge der Dauer des Mangelzustands in der Reihenfolge von Blau, Grün und Rot geändert.
In dem Beispiel, das in 4 dargestellt ist, wird das Mangelbereichsbild 61 zum Zeitpunkt T1 nicht angezeigt, da in keinem Zielbereich ein Mangelzustand von Waren detektiert wird. Als Nächstes wird das Mangelbereichsbild 61 des Zielbereichs zum Zeitpunkt T2 in Blau angezeigt, da ein Mangelzustand im Zielbereich auf der linken Seite in der mittleren Reihe eintritt. Als Nächstes wird die Anzeigefarbe des Mangelbereichsbilds 61 des Zielbereichs zum Zeitpunkt T3 in Grün umgeändert, da der Mangelzustand im Zielbereich auf der linken Seite in der mittleren Reihe nicht behoben wurde. Außerdem wird das Mangelbereichsbild 61 des Zielbereichs in Blau angezeigt, da ein Mangelzustand im Zielbereich auf der rechten Seite in der unteren Reihe eintritt. Als Nächstes wird die Anzeigefarbe des das Mangelbereichsbilds 61 des Zielbereichs zum Zeitpunkt T4 in Rot umgeändert, da der Mangelzustand im Zielbereich auf der linken Seite in der mittleren Reihe nicht behoben wurde. Als Nächstes wird die Anzeigefarbe des Mangelbereichsbilds 61 des Zielbereichs in Grün umgeändert, da der Mangelzustand im Zielbereich auf der rechten Seite in der unteren Reihe nicht behoben wurde.
Da die Anzeigefarbe (Anzeigeform) des Mangelbereichsbildes 61 sich gemäß der Länge der Dauer des Mangelzustands von Waren, das heißt der Dringlichkeit der Wiederauffüllarbeit, ändert, erfasst der Benutzer demnach in der vorliegenden Ausführungsform intuitiv die Priorität des Beginns der Wiederauffüllarbeit. Insbesondere kann der Benutzer leicht erfassen, wo der Wiederauffüllvorgang priorisiert werden soll, selbst wenn ein Mangelzustand in einer Mehrzahl von Zielbereichen eintritt, da die Anzeigefarbe des Mangelbereichsbildes 61 gemäß der Länge der Zeitdauer verschieden ist.
Als Nächstes wird eine schematische Konfiguration der Kamera 1, der Servervorrichtung 2 und der Benutzerendgerätevorrichtung 3 beschrieben. 5 ist eine Blockansicht, die eine Hardwarekonfiguration der Kamera 1, der Servervorrichtung 2 und der Benutzerendgerätevorrichtung 3 darstellt.
Die Kamera 1 umfasst eine Abbildungseinheit 11, eine Steuerung 12, einen Informationsspeicher 13 und einen Kommunikator 14.
Die Abbildungseinheit 11 umfasst einen Bildsensor und gibt die aufgenommenen Bilder (Frames), die zeitlich fortlaufend sind, sogenannte Bewegtbilder, sequenziell aus. Die Steuerung 12 führt Bildverarbeitung zum Entfernen eines sich bewegenden Objekts, wie beispielsweise einer Person, aus dem aufgenommenen Bild durch und gibt das bewegtobjektfrei gemachte Bild, das durch die Bildverarbeitung erzeugt wird, als ein Verkaufsflächenbild aus. Der Informationsspeicher 13 speichert ein Programm, das von einem Prozessor ausgeführt wird, der die Steuerung 12 bildet, und ein aufgenommenes Bild, das von der Abbildungseinheit 11 ausgegeben wird. Der Kommunikator 14 kommuniziert mit der Servervorrichtung 2 und sendet das von der Steuerung 12 ausgegebene Verkaufsflächenbild über das Netzwerk an die Servervorrichtung 2.
Die Servervorrichtung 2 umfasst eine Steuerung 21, einen Informationsspeicher 22 und einen Kommunikator 23.
Der Kommunikator 23 kommuniziert mit der Kamera 1 und der Benutzerendgerätevorrichtung 3, empfängt das von der Kamera 1 gesendete Verkaufsflächenbild, empfängt die von der Benutzerendgerätevorrichtung 3 gesendeten Benutzereinstellungsinformationen und verteilt den Überwachungsbildschirm, der vom Benutzer betrachtet werden soll, an die Benutzerendgerätevorrichtung 3. Im Informationsspeicher 22 werden Verkaufsflächenbilder für jede Kamera 1, die durch den Kommunikator 23 empfangen werden, Programme, das vom Prozessor ausgeführt werden, der die Steuerung 21 bildet, und dergleichen gespeichert. Die Steuerung 21 erzeugt einen Überwachungsbildschirm, der an die Benutzerendgerätevorrichtung 3 verteilt werden soll.
Die Benutzerendgerätevorrichtung 3 umfasst eine Steuerung 31, einen Informationsspeicher 32, einen Kommunikator 33, eine Eingabeeinheit 34 und eine Anzeige 35.
Die Eingabeeinheit 34 gibt verschiedene Einstellungsinformationen durch den Benutzer ein. Die Anzeige 35 zeigt den Überwachungsbildschirm basierend auf den Bildschirminformationen an, die von der Servervorrichtung 2 gesendet werden. Die Eingabeeinheit 34 und die Anzeige 35 können durch eine Berührungsbildschirmanzeige ausgebildet sein. Der Kommunikator 33 kommuniziert mit der Servervorrichtung 2, sendet die durch Eingabeeinheit 34 eingegebenen Benutzereinstellungen an die Servervorrichtung 2 und empfängt Bildschirminformationen, die von der Servervorrichtung 2 gesendet werden. Die Steuerung 31 steuert jede Einheit der Benutzerendgerätevorrichtung 3. Der Informationsspeicher 32 speichert Programme, das von den Prozessoren ausgeführt werden, welche die Steuerung 31 bilden, und dergleichen.
Als Nächstes wird die funktionelle Konfiguration der Kamera 1 und der Servervorrichtung 2 beschrieben. 6 ist eine Funktionsblockansicht der Kamera 1 und der Servervorrichtung 2.
Die Steuerung 12 der Kamera 1 umfasst eine Einheit zum Erzeugen bewegtobjektfrei gemachter Bilder 41. Die Einheit zum Erzeugen bewegtobjektfrei gemachter Bilder 41 wird dadurch realisiert, dass der Prozessor, der die Steuerung 12 bildet, zum Ausführen eines Überwachungsprogramms (einer Überwachungsanweisung) veranlasst wird, das im Informationsspeicher 13 gespeichert ist.
In der Einheit zum Erzeugen bewegtobjektfrei gemachter Bilder 41 wird ein bewegtobjektfrei gemachtes Bild durch Entfernen eines sich bewegenden Objekts aus dem aufgenommenen Bild basierend auf einer Mehrzahl von aufgenommenen Bildern (Frames) in einer vorbestimmten Lernperiode erzeugt. Konkret werden, wenn zeitlich fortlaufende aufgenommene Bilder, die aus der Abbildungseinheit 11 ausgeben werden, sequenziell in die Einheit zum Erzeugen bewegtobjektfrei gemachter Bilder 41 eingegeben werden, dominante Bildinformationen in Pixeleinheiten (Farbinformationen in einem dominanten Zustand) erhalten, um ein bewegtobjektfrei gemachtes Bild (Hintergrundbild) basierend auf einer Mehrzahl von aufgenommenen Bildern in der jüngsten vorbestimmten Abtastperiode zu erzeugen. Dann kann das letzte bewegtobjektfrei gemachte Bild erhalten werden, indem solche dominanten Bildinformationen jedes Mal, wenn ein aufgenommenes Bild eingegeben wird, aktualisiert werden. Zur Erzeugung dieses bewegtobjektfrei gemachten Bildes kann eine bekannte Hintergrundbilderzeugungstechnik verwendet werden.
Auf diese Weise wird das bewegtobjektfrei gemachte Bild, das von der Einheit zum Erzeugen bewegtobjektfrei gemachter Bilder 41 erzeugt wird, als ein Verkaufsflächenbild vom Kommunikator 14 in vorbestimmten Zeiteinheitsintervallen (zum Beispiel in Intervallen von 15 Minuten) an die Servervorrichtung 2 gesendet. Konkret wird in der Servervorrichtung 2 in einem vorbestimmten Takt (zum Beispiel in Intervallen on 15 Minuten) eine Bildübertragungsanforderung an die Kamera 1 gestellt, und im Kommunikator 14 der Kamera 1 wird als Antwort auf die Bildübertragungsanforderung von der Servervorrichtung 2 das Verkaufsflächenbild zu diesem Zeitpunkt gesendet.
Die Steuerung 21 der Servervorrichtung 2 umfasst eine Bildabrufeinheit 51, einen Mangelzustandsdetektor 52, eine Dauererfassungseinheit 53, einen Bildschirmgenerator 54 und eine Anzeigeelementfestlegungseinheit 55. Jede Einheit der Steuerung 21 wird dadurch realisiert, dass der Prozessor, der die Steuerung 21 bildet, zum Ausführen des Überwachungsprogramms (der Überwachungsanweisung) veranlasst wird, das im Informationsspeicher 22 gespeichert ist.
In der Bildabrufeinheit 51 wird ein Verkaufsflächenbild abgerufen, das periodisch von der Kamera 1 gesendet und vom Kommunikator 23 empfangen wird. Das durch diese Bildabrufeinheit 51 erhaltene Verkaufsflächenbild 51 wird im Informationsspeicher 22 gespeichert.
Der Mangelzustandsdetektor 52 detektiert einen Mangelzustand der Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild, das durch die Bildabrufeinheit 51 abgerufen wird. Diese Verarbeitung wird jedes Mal durchgeführt, wenn ein Verkaufsflächenbild durch die Bildabrufeinheit 51 abgerufen wird. Außerdem vergleicht der Mangelzustandsdetektor 52 das vorherige Verkaufsflächenbild, das im Informationsspeicher 22 gespeichert ist, mit dem aktuellen Verkaufsflächenbild, das durch die Bildabrufeinheit 51 abgerufen wird, um einen Mangelbereich, der ein Bildbereich ist, in welchem eine Mangelzustand auf dem Verkaufsflächenbild eintritt, basierend auf dem Unterschied zwischen den beiden Bildern zu detektieren. Hierbei wird in der vorliegenden Ausführungsform, da ein Mangelzustand von Waren in dem Zielbereich detektiert wird, der durch den Benutzer festgelegt ist, ein Bild des Zielbereichs aus dem Verkaufsflächenbild extrahiert, und der Mangelzustand des Zielbereichs wird basierend auf dem Bild des Zielbereichs detektiert.
Das Verkaufsflächenbild ist ein Bild, das zum Entfernen eines sich bewegenden Objekts, wie beispielsweise einer Person, verarbeitet ist, und es ist möglich, die Situation der Waren genau zu detektieren, da sich bewegende Objekte, welche die Waren verdecken, entfernt sind.
Falls vom Mangelzustandsdetektor 52 ein Mangelzustand von Waren detektiert wird, erfasst die Dauererfassungseinheit 53 die Dauer des Mangelzustands, das heißt die verstrichene Zeit seit der Detektion des Mangelzustands bis zur Gegenwart. In der vorliegenden Ausführungsform zählt der Mangelzustandsdetektor 52 die Anzahl von Verkaufsflächenbildern, in welchen fortlaufend ein Mangelzustand für die gleiche Verkaufsfläche detektiert wird, und basierend auf der Anzahl von Verkaufsflächenbildern, in welchen fortlaufend ein Mangelzustand detektiert wird, wird eine Dauer erhalten.
Hierbei werden in der vorliegenden Ausführungsform Verkaufsflächenbilder von der Kamera 1 in vorbestimmten Zeiteinheitsintervallen (zum Beispiel in Intervallen von 15 Minuten) gesendet. Das heißt, die Bildabrufeinheit 51 der Servervorrichtung 2 ruft Verkaufsflächenbilder periodisch in vorbestimmten Zeiteinheitsintervallen ab. Daher stellt die Zeit, die durch Multiplizieren des vorbestimmten Zeiteinheitsintervalls mit der Anzahl von Verkaufsflächenbildern berechnet wird, in welchen fortlaufend der Mangelzustand detektiert wird, die Dauer des Mangelzustands von Ware dar.
Es kann ein Zeitgeber vorgesehen sein, um die verstrichene Zeit seit der Detektion des Mangelzustands von Waren bis zum gegenwärtigen Zeitpunkt zu messen, damit die Dauer des Mangelzustands von Waren gemessen werden kann.
Der Bildschirmgenerator 54 umfasst einen Mangelbereichsbildgenerator 56. In diesem Mangelbereichsbildgenerator 56 wird ein Mangelbereichsbild (Zustandsanzeigebild) 61 (siehe 4), dessen Anzeigeform sich gemäß der Dauer des Mangelzustands von Waren ändert, basierend auf dem ausgegebenen Ergebnis der Dauererfassungseinheit 53 erzeugt. Dann erzeugt der Bildschirmgenerator 54 einen Überwachungsbildschirm, der einen Bildbereich umfasst, in welchem das Mangelbereichsbild 61, das durch den Mangelbereichsbildgenerator 56 akquiriert wird, im Verkaufsflächenbild eingeblendet ist.
In der Anzeigeelementfestlegungseinheit 55 wird das Anzeigeelement des Mangelbereichsbildes 61 gemäß der Bedieneingabe des Benutzers festgelegt, die durch die Benutzerendgerätevorrichtung 3 durchgeführt wird. In der vorliegenden Ausführungsform ist es möglich, mindestens eines von der Farbe, der Durchlässigkeit, des Vorhandenseins/Nichtvorhandenseins der Rahmenlinie und der Stärke der Rahmenlinie des Mangelbereichsbildes 61 zu ändern. Das Anzeigeelement des Mangelbereichsbildes 61 stellt die Dauer des Mangelzustands dar, und der Benutzer kann frei anpassen, wie die Dauer des Mangelzustands im Mangelbereichsbild 61 dargestellt werden soll.
Als Nächstes wird das Mangelbereichsbild 61 beschrieben, das vom Mangelbereichsbildgenerator 56 erzeugt wird. 7 ist eine erläuternde Ansicht die eine Situation darstellt, in welcher eine Anzeigeform eines Mangelzustandsbildes 61 sich gemäß einer Länge von Dauer ändert.
In der vorliegenden Ausführungsform erzeugt der Mangelbereichsbildgenerator 56 das Mangelbereichsbild 61, dessen Anzeigeform sich gemäß der Dauer des Mangelzustands ändert. Zu diesem Zeitpunkt wird die Dauer mit der vorbestimmten Bezugszeit verglichen, und das Mangelbereichsbild 61 wird sequenziell in verschiedene Anzeigeformen umgeändert, wenn die Dauer die Bezugszeit überschreitet.
Das heißt, wenn kein Mangelzustand von Waren detektiert wird, wird das Mangelbereichsbild 61 nicht angezeigt und, wenn ein Mangelzustand von Waren zum ersten Mal detektiert wird, wird das Mangelbereichsbild 61 in der ersten Anzeigeform (anfänglichen Anzeigeform) angezeigt. Wenn dann die Dauer die vorbestimmte Bezugszeit überschreitet, das heißt, wenn die Bezugszeit nach dem Detektieren eines Mangelzustands von Waren zum ersten Mal abläuft, wird die zweite Anzeigeform, die von der ersten Anzeigeform verschieden ist, für das Mangelbereichsbild 61 geändert. Wenn ferner die Dauer die zweite Bezugszeit überschreitet, wird das Mangelbereichsbild 61 in eine dritte Anzeigeform umgeändert.
Wenn zum Beispiel die Bezugszeit auf 15 Minuten festgelegt ist, wird das Mangelbereichsbild 61 in der Periode von 0 Minuten bis weniger als 15 Minuten in der ersten Anzeigeform angezeigt, in der Periode von 15 Minuten bis weniger als 30 Minuten wird das Mangelbereichsbild 61 in der zweiten Anzeigeform angezeigt, und in der Periode von 30 Minuten oder darüber wird das Mangelbereichsbild 61 in der dritten Anzeigeform angezeigt.
In der vorliegenden Ausführungsform ist es in der Anzeigeelementfestlegungseinheit 55 gemäß der Bedieneingabe durch den Benutzer außerdem möglich, mindestens ein Anzeigeelement der Farbe, der Durchlässigkeit, des Vorhandenseins/Nichtvorhandenseins der Rahmenlinie und der Stärke der Rahmenlinie des Mangelbereichsbildes 61 so festzulegen, dass es geändert werden kann. In der vorliegenden Ausführungsform wird ein rechteckiges Bild als das Mangelbereichsbild 61 verwendet, aber es kann ein vorbestimmtes Symbol in der Mittelposition angezeigt werden, und die Anzeigeform davon kann so angezeigt werden, dass sie geändert werden kann.
Im Beispiel, das in (A) in 7 dargestellt ist, besteht das Mangelbereichsbild 61 wie im Beispiel, das in 4 dargestellt ist, aus einer Rahmenlinie, die den Umriss des Zielbereichs darstellt, und das Anzeigeelement, das die Länge der Dauer darstellt, ist als die Farbe der Rahmenlinie festgelegt, und mit zunehmender Länge der Dauer ändert sich die Farbe des Rahmenlinie in der Reihenfolge von Blau, Grün und Rot.
Die Farbe der Rahmenlinie ist nicht auf Blau, Grün und Rot beschränkt. Außerdem kann die Rahmenlinie im Verkaufsflächenbild mit einer einzigen Farbe in einem transparenten Zustand eingeblendet werden, und die Länge der Dauer kann durch die Durchlässigkeit der Rahmenlinie dargestellt werden.
Im Beispiel, das in (B) in 7 dargestellt ist, besteht das Mangelbereichsbild 61 wie im Beispiel, das (A) in 7 dargestellt ist, aus einer Rahmenlinie, die den Umriss des Zielbereichs darstellt, aber hier ist das Anzeigeelement, das die Länge der Dauer darstellt, die Stärke der Rahmenlinie, und die Rahmenlinie wird mit zunehmender Länge der Dauer stärker.
Neben der Stärke der Rahmenlinie kann die Länge der Dauer durch den Linientyp der Rahmenlinie (zum Beispiel durchgezogene Linie oder gestrichelte Linie) dargestellt werden.
Im Beispiel, das in (C) in 7 dargestellt ist, besteht das Mangelbereichsbild 61 aus einem Bild, das innerhalb des Umrisses des Zielbereichs mit Farbe gefüllt ist, und ein Anzeigeelement, das die Länge der Dauer darstellt, ist als eine Füllfarbe festgelegt, und mit zunehmender Länge der Dauer ändert sich die Füllfarbe der Rahmenlinie in der Reihenfolge von Blau, Grün und Rot.
Die Füllfarbe der Rahmenlinie ist nicht auf Blau, Grün und Rot beschränkt. Außerdem kann das gefüllte Bild im Verkaufsflächenbild mit einer einzigen Farbe im transparenten Zustand eingeblendet werden, und die Länge der Dauer kann durch die Durchlässigkeit des gefüllten Bildes dargestellt werden.
In der vorliegenden Ausführungsform wird die Anzeigeform des Mangelbereichsbildes 61 in drei Stufen geändert, aber sie kann auch in zwei Stufen oder vier oder mehr Stufen geändert werden.
Außerdem wird in der vorliegenden Ausführungsform die Anzeigeform des Mangelbereichsbildes 61 basierend auf einer einzigen Zeiteinheit stufenweise geändert, aber die Anzeigeform des Mangelbereichsbildes 61 (zum Beispiel der Farbton und die Dichte der Anzeigefarbe) können gemäß der Länge der Dauer ohne Bestimmen der Zeiteinheit stufenlos geändert werden. Außerdem kann die Zeiteinheit gemäß der Stufe geändert werden, das heißt, die erste Bezugszeit und die zweite Bezugszeit können auf verschiedene Längen festgelegt sein.
Als Nächstes wird ein anderes Beispiel des Zustandsanzeigebildes beschrieben, das die Länge der Dauer darstellt. 8 ist eine erläuternde Ansicht, die ein anderes Beispiel eines Zustandsanzeigebildes darstellt
In einem anderen Beispiel besteht das Zustandsanzeigebild, das die Länge der Dauer darstellt, aus dem Mangelbereichsbild 61, das dem Zielbereich entspricht, und einem Zeichenbild 62, das die Prioritätsreihenfolge darstellt, die gemäß der Länge der Dauer festgelegt ist. Das heißt, das Zeichenbild 62, das die Prioritätsreihenfolge darstellt, wird neben dem Mangelbereichsbild 61 auf dem Verkaufsflächenbild angezeigt. Dadurch kann der Benutzer die Prioritätsreihenfolge zum Beginnen mit der Wiederauffüllarbeit leicht erfassen, wenn ein Mangelzustand in einer Mehrzahl von Zielbereichen eintritt,
Falls im Mangelzustandsdetektor 52 der Servervorrichtung 2 in einer Mehrzahl von Zielbereichen ein Mangelzustand detektiert wird, vergleicht die Steuerung 21 die Dauern für jeden Zielbereich, die durch die Dauererfassungseinheit 53 erfasst werden, und ordnet jedem Zielbereich einen Prioritätsrang zu.
In dem Beispiel, das in 8 dargestellt ist, ist ein Fall veranschaulicht, in welchem ein Mangelzustand in einer Mehrzahl von Zielbereichen auf einem Verkaufsflächenbild eintritt, aber wenn eine Mehrzahl von Verkaufsflächenbildern auf dem Überwachungsbildschirm angezeigt wird, kann ein Mangelzustand in einer Mehrzahl von Zielbereichen als dem ganzen Überwachungsbildschirm eintreten, und selbst in solch einem Fall ist es möglich, die Priorität von Arbeit zwischen verschiedenen Verkaufsflächen durch Anzeigen der Zeichen zu bestimmen, welche die Prioritätsreihenfolge darstellen.
(Zweite Ausführungsform)
Als Nächstes wird eine zweite Ausführungsform beschrieben. Die hier nicht speziell erwähnten Punkte sind gleich wie die der vorhergehenden Ausführungsform. 9 ist eine erläuternde Ansicht, die einen Überwachungsbildschirm gemäß der zweiten Ausführungsform darstellt.
In der ersten Ausführungsform wird ein Zielbereich in einem Bereich festgelegt, in welchem eine Mehrzahl von Waren auf einem Verkaufsflächenbild vorhanden ist, und ein Mangelzustand von Waren im Zielbereich wird detektiert, aber in dieser zweiten Ausführungsform wird kein Zielbereich festgelegt, sondern das gesamte Verkaufsflächenbild wird als Detektionsziel des Mangelzustands festgelegt, und ein Fehlbestand jeder Ware wird als ein Mangelzustand detektiert. Insbesondere wird ein Bildbereich, in welchem ein Fehlbestand auf einem Verkaufsflächenbild auftrat, als ein Mangelbereich detektiert, und das Mangelbereichsbild 61 wird in der Position des Mangelbereichs angezeigt.
In der vorliegenden Ausführungsform vergleicht der Mangelzustandsdetektor 52 der Servervorrichtung 2 das vorherige Verkaufsflächenbild, das im Informationsspeicher 22 gespeichert ist, mit dem aktuellen Verkaufsflächenbild, das durch die Bildabrufeinheit 51 abgerufen wird, um einen Bildbereich, in welchem eine Fehlbestand auf dem Verkaufsflächenbild auftritt, basierend auf dem Unterschied zwischen den beiden Bildern zu detektieren. Außerdem kann ein Verkehrsflächenbild, das in einem Zustand aufgenommen wird, in dem kein Fehlbestand von Waren auftritt, mit dem aktuellen Verkaufsflächenbild verglichen werden, um einen Mangelbereich zu detektieren.
Wie in der ersten Ausführungsform wird die Anzeigefarbe (Anzeigeform) des Mangelbereichsbildes 61 gemäß der Dauer des Mangelzustands geändert, konkret wird die Anzeigefarbe des Mangelbildbereichs 61 mit zunehmender Länge der Dauer des Mangelzustands in der Reihenfolge von Blau, Grün und Rot geändert.
Außerdem wird in der vorliegenden Ausführungsform, wenn eine Mehrzahl von benachbarten Waren nicht vorrätig ist, das Mangelbereichsbild 61 so angezeigt, dass es den gesamten Bildbereich einnimmt, in welchem sich die nicht vorrätigen Waren befinden, und das Mangelbereichsbild 61 wird mit zunehmender Anzahl von nicht vorrätigen Waren vergrößert. Daher kann der Benutzer in Abhängigkeit von der Größe des Mangelbildbereichs 61 die Menge von nicht vorrätigen Waren erfassen. Dadurch kann der Benutzer die Wiederauffüllarbeitspriorität unter Berücksichtigung der Menge der nicht vorrätigen Waren zusätzlich zur Dauer des Mangelzustands bestimmen.
In der vorliegenden Ausführungsform wird das Mangelbereichsbild 61 für eine Mehrzahl von nicht vorrätigen Waren zum Ziel genommen, aber das Zeitintervall, in welchem der Fehlbestand jeder Ware auftritt, ist für jede Ware verschieden. Daher wird für jede Ware eine Mangeldauer, das heißt eine verstrichene Zeit ab der Detektion eines Fehlbestands bis zum gegenwärtigen Zeitpunkt, gemessen, und unter den Waren, die zum Ziel des Mangelbereichsbildes 61 genommen werden, wird die Ware mit der längsten Mangeldauer, das heißt der Mangeldauer der Ware, die zuerst nicht vorrätig wird, als die Dauer des Mangelzustands des gesamten Mangelbereichs festgelegt, und das Mangelbereichsbild 61 wird mit einer Anzeigefarbe (Anzeigeform) angezeigt, die der Dauer dieses Mangelzustands entspricht.
(Dritte Ausführungsform)
Als Nächstes wird eine dritte Ausführungsform beschrieben. Die hier nicht speziell erwähnten Punkte sind gleich wie die der vorhergehenden Ausführungsform. 10 ist eine Funktionsblockansicht der Kamera 1 und der Servervorrichtung 2 gemäß einer dritten Ausführungsform.
In der ersten Ausführungsform wird die Anzeigeform des Mangelbereichsbildes 61 gemäß der Dauer des Mangelzustands der Waren geändert, aber in der dritten Ausführungsform wird die Anzeigeform des Mangelbereichsbildes 61 zusätzlich zur Dauer gemäß der Priorität geändert, die basierend auf Heatmap-Informationen festgelegt wird. Die Heatmap-Informationen beziehen sich auf die Anzahl von Personen, die sich vor der Verkaufsfläche umschauen (Anzahl von sich umschauenden Personen) und, da eine große Anzahl von Personen sich umsieht, ist es möglich, den Beliebtheitsgrad der auf der Verkaufsfläche ausgestellten Waren zu bestimmen. Die Heatmap-Informationen werden durch die Kamera 1 erzeugt und an die Servervorrichtung 2 gesendet.
Die Kamera umfasst einen Personendetektor 42 und einen Heatmap-Informationsgenerator 43.
Im Personendetektor 42 wird das bewegtobjektfrei gemachte Bild (Hintergrundbild), das durch die Einheit zum Erzeugen bewegtobjektfrei gemachter Bilder 41 akquiriert wird, mit dem aktuellen aufgenommenen Bild verglichen, das von der Abbildungseinheit 11 ausgeben wird, und der Bildbereich des sich bewegenden Objekts im aufgenommenen Bild wird aus dem Unterschied zwischen den beiden Bildern bestimmt (Bewegtobjektdetektion). Wenn eine Ω-Form, die mit dem Gesicht oder dem Kopf oder dem Schulterabschnitt einer Person gebildet wird, im Bildbereich des sich bewegenden Objekts detektiert wird, wird das sich bewegende Objekt als Person bestimmt (Personendetektion). Für diese Bewegtobjektdetektion und Personendetektion können bekannte Techniken verwendet werden.
Der Heatmap-Informationsgenerator 43 erzeugt Heatmap-Informationen, welche die Verteilungssituation der Personen auf dem aufgenommenen Bild darstellen, basierend auf dem Detektionsergebnis des Personendetektors 42. Bei diesen Heatmap-Informationen werden Personen, die sich in jeder Zelle (Raster) befinden, die durch Teilen eines aufgenommen Bildes in eine Gitterform erhalten wird, in einer vorbestimmten Messperiode (zum Beispiel einer Stunde) gezählt, und ein Verteilungszustand von Personen wird basierend auf dem Zählwert (Anzahl von Personen) jeder Zelle dargestellt. Aus dem Zählwert im Bereich, in welchem Personen sich vor der Verkaufsfläche im aufgenommenen Bild umschauen, kann die Anzahl von Personen erfasst werden, die sich vor der Verkaufsfläche umschaut (die Anzahl von sich umschauenden Personen für jede Verkaufsfläche).
Die durch den Heatmap-Informationsgenerator 43 erfassten Heatmap-Informationen werden vom Kommunikator 14 zusammen mit dem Verkaufsflächenbild (bewegtobjektfrei gemachten Bild), das durch die Einheit zum Erzeugen bewegtobjektfrei gemachter Bilder 41 akquiriert wird, an die Servervorrichtung 2 gesendet.
Als die Heatmap-Informationen kann die Zeit erfasst werden, während der Personen sich vor der Verkaufsfläche umschauen (Umschauzeit), und, wenn die Umschauzeit lange ist, ist es möglich, die Beliebtheit der auf der Verkaufsfläche ausgestellten Waren zu bestimmen.
Die Servervorrichtung 2 umfasst eine Prioritätsfestlegungseinheit 57.
In dieser Prioritätsfestlegungseinheit 57 wird eine Priorität (Wiederauffülldringlichkeit) eines Mangelbereichs zum Zeitpunkt des Beginns der Wiederauffüllarbeit basierend auf den von der Kamera 1 abgerufenen Heatmap-Informationen festgelegt. Die Verkaufsfläche, bei welcher viele Personen sich umschauen, stellt Waren aus, die sich bei den Kunden hoher Beliebtheit erfreuen, und es ist notwendig, die Waren unverzüglich nachzufüllen. Daher wird die Priorität (Wiederauffülldringlichkeit) des Mangelbereichs auf der Verkaufsfläche, bei der die Anzahl von verweilenden Personen groß ist, als hoch festgelegt. Zu diesem Zeitpunkt können die letzten Heatmap-Informationen, die in der letzten Zeitzone gesammelt werden, verwendet werden, aber es können auch Heatmap-Informationen verwendet werden, die in der Vergangenheit (zum Beispiel am Vortag) in der gleichen Zeitzone gesammelt wurden.
Außerdem legt die Prioritätsfestlegungseinheit 57 die Priorität des Mangelbereichs basierend auf den Verkaufsinformationen (Umsatzinformationen) fest, die von einer Umsatzinformationsverwaltungsvorrichtung 5 abgerufen werden. Die Umsatzinformationsverwaltungsvorrichtung 5 stellt ein Kassen (POS - Point Of Sale)-System (Verkaufsinformationsverwaltungssystem) dar, das Verkaufsinformationen (Umsatzinformationen) über Verkäufe jeder Ware im Geschäft verwaltet und die Verkaufsinformationen für die Servervorrichtung 2 bereitstellt.
Hierbei gilt je mehr Verkäufe, desto beliebter, und umso schneller muss die Ware nachgefüllt werden. Daher wird in der vorliegenden Ausführungsform die Priorität (Wiederauffülldringlichkeit) des Mangelbereichs der Ware mit hohem Umsatz als hoch festgelegt. Zu diesem Zeitpunkt können die letzten Umsatzinformationen, die in der letzten Zeitzone gesammelt werden, verwendet werden, aber es können auch Umsatzinformationen verwendet werden, die in der Vergangenheit (zum Beispiel am Vortag) in der gleichen Zeitzone gesammelt wurden.
Außerdem legt die Prioritätsfestlegungseinheit 57 die Priorität des Mangelbereichs basierend auf den Bestandsinformationen fest, die von einer Umsatzinformationsverwaltungsvorrichtung 5 abgerufen werden. Die Umsatzinformationsverwaltungsvorrichtung 5 hat auch die Funktion der Verwaltens des Bestands des Geschäfts und stellt Bestandsinformationen für die Servervorrichtung 2 bereit. Hierbei kann bei den nicht vorrätigen Waren nicht mit der Wiederauffüllarbeit begonnen werden, selbst wenn die Priorität (Wiederauffülldringlichkeit) als hoch festgelegt ist. Daher wird in der vorliegenden Ausführungsform die Priorität des Mangelbereichs der Ware mit Bestand als hoch festgelegt.
Außerdem legt die Prioritätsfestlegungseinheit 57 die Priorität des Mangelbereichs basierend auf den Lieferinformationen fest, die im Informationsspeicher 22 aufbewahrt werden. Für eine Ware, wie beispielsweise ein Lunchpaket, wird die Zeit der Lieferung der Ware zum Geschäft bestimmt, und die Lieferinformationen über den Lieferzeitplan dieser Ware werden im Voraus im Informationsspeicher 22 aufbewahrt. Hierbei wird im Falle der Ware mit einer kurzen verstrichenen Zeit ab der Lieferzeit der Bestand davon als ausreichend betrachtet. Daher wird in der vorliegenden Ausführungsform die Priorität des Mangelbereichs der Ware mit einer kurzen verstrichenen Zeit ab der Lieferzeit als hoch festgelegt. Selbst für eine Ware, wie beispielsweise ein Lunchpaket, mit zeitlich geplanter Lieferung ist es nicht möglich, Warennachfüllarbeit durchzuführen, wenn nur Waren vorhanden sind, die ausgestellt sind, und Zeit bis zur nächsten Lieferzeit ist, aber anstelle der Nachfüllarbeit kann Warenverwaltungsarbeit durchgeführt werden, um die Waren, die wahrscheinlich nicht verkauft werden, loszuwerden, beispielsweise sie mit der Bildseite nach oben auflegen.
Außerdem wird in der Prioritätsfestlegungseinheit 57 die Priorität des Mangelbereichs basierend auf der Priorität festgelegt, die für jede Klassifikation von Waren (Fastfood, Lunchpaket und dergleichen) im Voraus bestimmt wird. Das heißt, wenn die Warenklasse eine hohe Priorität hat, wird die Priorität des Mangelbereichs als hoch festgelegt. Wie oben beschrieben, kann der Benutzer die Klassifikation von Waren erfassen, die hoch beliebt sind und sich einigermaßen gut verkaufen, selbst wenn weder die Heatmap-Informationen noch die Umsatzinformationen verwendet werden. Dann legt der Benutzer in der vorliegenden Ausführungsform die Priorität für jede Warenklassifikation fest und veranlasst den Informationsspeicher 22, Informationen über die Priorität für jede Warenklassifikation aufzubewahren, um die Priorität des Mangelbereichs basierend auf den Informationen über die Priorität für jede Warenklassifikation festzulegen.
Wie oben beschrieben, legt die Prioritätsfestlegungseinheit 57 der Servervorrichtung 2 in der vorliegenden Ausführungsform die Priorität des Mangelbereichs basierend auf anderen Bewertungsinformationen über die Verkaufsfläche und die Waren als der Länge der Dauer, das heißt Informationen über den Zustand von Kunden, die sich auf der Verkaufsfläche umschauen (Heatmap-Informationen), Informationen über den Umsatz von Waren, Informationen über den Bestand von Waren, Informationen über die Lieferung von Waren und Informationen über die Priorität für jede Warenklassifikation fest. Die Priorität des Mangelbereichs kann durch Verwenden nur eines dieser Bewertungsinformationselemente festgelegt werden, aber die Gesamtheit oder ein Teil dieser Bewertungsinformationselemente kann auch kombiniert werden, um die Priorität des Mangelbereichs festzulegen.
Als Nächstes wird ein Überwachungsbildschirm gemäß der dritten Ausführungsform beschrieben. 11 ist eine erläuternde Ansicht, die einen Überwachungsbildschirms gemäß der dritten Ausführungsform darstellt.
Auf diesem Überwachungsbildschirm werden Verkaufsflächenbilder, die von einer Mehrzahl von Kameras 1 aufgenommen werden, nebeneinander angezeigt. Die erste Kamera 1 bildet die Verkaufsfläche von Fastfood ab, die zweite Kamera 1 bildet die Verkaufsfläche von Reis (Reisbällchen, Lunchpakete, Sushi und dergleichen) ab, und die dritte Kamera 1 bildet die Verkaufsfläche von Getränken ab.
Wie oben beschrieben, wird in der vorliegenden Ausführungsform in der Prioritätsfestlegungseinheit 57 die Priorität des Mangelbereichs außerdem basierend auf den anderen Bewertungsinformationen über die Verkaufsfläche und die Waren als der Dauer des Mangelzustands von Waren festgelegt. Im Mangelbereichsbildgenerator 56 wird das Mangelbereichsbild 61 so erzeugt, dass die Priorität durch ein Anzeigeelement dargestellt wird, das von dem Anzeigeelement verschieden ist, das die Länge der Dauer darstellt.
Im Beispiel, das in 11 dargestellt ist, ist die Länge der Dauer des Mangelzustands von Waren durch die Stärke der Rahmenlinie des Mangelbereichsbildes 61 dargestellt, andere Bewertungsinformationen als die Länge der Dauer, zum Beispiel die Prioritätsstufe basierend auf den Heatmap-Informationen (Anzahl von sich umschauenden, Personen und dergleichen), werden durch die Farbe der Rahmenlinie des Mangelbereichsbildes 61 (zum Beispiel Blau, Grün und Rot) dargestellt.
Die Priorität kann auch durch andere Anzeigeelemente, wie beispielsweise Transparenz des Mangelbereichsbildes 61, dargestellt wird.
Da die Priorität, die basierend auf den anderen Bewertungsinformationen als der Dauer des Mangelzustands von Waren festgelegt wird, durch das Mangelbereichsbild 61 von einem anderen Gesichtspunkt als der Länge der Dauer des Mangelzustands dargestellt wird, ist es demnach in der vorliegenden Ausführungsform möglich, mit der Wiederauffüllarbeit unter Berücksichtigung der Dringlichkeit der Wiederauffüllarbeit zu beginnen. Zum Beispiel kann der Benutzer in dem Bereich, in welchem die Dauer des Mangelzustands zwar lang ist, welcher aber von Kunden nicht so stark frequentiert wird, eine Entscheidung treffen, die Wiederauffüllarbeit des Bereichs zu verschieben.
In der vorliegenden Ausführungsform wird die Priorität, die basierend auf den anderen Bewertungsinformationen als der Dauer des Mangelzustands von Waren festgelegt wird, durch das Mangelbereichsbild 61 zusammen mit der Dauer des Mangelzustands dargestellt, aber das Mangelbereichsbild 61 kann nur die Dauer darstellen, und die Priorität, die basierend auf den anderen Bewertungsinformationen als der Dauer des Mangelzustands von Waren festgelegt wird, kann als Zeichen oder ein Bild separat vom Mangelbereichsbild 61 angezeigt werden. Außerdem kann ein Bild, das die Bewertungsinformationen darstellt, die als Quelle der Priorität dienen, zum Beispiel ein Heatmap-Bild, das Heatmap-Informationen darstellt, separat vom Mangelbereichsbild 61 angezeigt werden.
Wie bereits erwähnt, wurde die Ausführungsform als ein Beispiel der in der vorliegenden Anmeldung offenbarten Technik beschrieben. Die Technik in der vorliegenden Offenbarung ist jedoch nicht darauf beschränkt und kann auch auf Ausführungsformen angewendet werden, in welchen Änderung, Ersetzung, Hinzufügung, Weglassung und dergleichen durchgeführt werden. Außerdem ist es möglich die in den vorstehenden Ausführungsformen beschriebenen Bestandselemente zu einer neuen Ausführungsform zu kombinieren.
Zum Beispiel wurde in der vorstehenden Ausführungsform ein Beispiel eines Einzelhandelsgeschäfts, wie beispielweise eines Bedarfsartikelgeschäfts, beschrieben, aber sie ist nicht auf solch ein Einzelhandelsgeschäft beschränkt, sondern kann auch auf ein Geschäft eines anderen Geschäftstyps als ein Einzelhandelsgeschäft angewendet werden.
Außerdem ist in der vorstehenden Ausführungsform die Kamera 1, wie in 2 dargestellt, eine omnidirektionale Kamera mit einem Abbildungsbereich von 360 Grad unter Verwendung eines Fischaugenobjektivs, aber es ist auch möglich, eine Kamera mit einem vorbestimmten Betrachtungswinkel, eine sogenannte Boxkamera, zu verwenden.
Außerdem wird in der vorstehenden Ausführungsform jede Verarbeitung von Mangelzustandsdetektion, Dauererfassung und Bildschirmerzeugung in der Servervorrichtung 2 durchgeführt, aber die Gesamtheit oder ein Teil dieser Arten von Verarbeitung können auch durch einen PC durchgeführt werden, der im Geschäft installiert ist.
GEWERBLICHE VERWERTBARKEIT
Die Warenüberwachungsvorrichtung, das Warenüberwachungssystem und das Warenüberwachungsverfahren gemäß der vorliegenden Offenbarung haben eine Wirkung des leichten Erfassens der Situation einer Verzögerung, wenn Warenverwaltungsarbeit zum Beheben eines Mangelzustands von Waren verzögert wird, und können als eine Warenüberwachungsvorrichtung, ein Warenüberwachungssystem und ein Warenüberwachungsverfahren zum Überwachen eines Mangelzustands der auf einer Verkaufsfläche ausgestellten Waren basierend auf einem Verkaufsflächenbild verwendet werden, aus dem ein sich bewegendes Objekts in einem Bild der Verkaufsfläche entfernt ist.
Bezugszeichenliste

1: KAMERA
2: SERVERVORRICHTUNG
3: BENUTZERENDGERÄTEVORRICHTUNG
5: VERKAUFSINFORMATIONSVERWALTUNGSVORRICHTUNG
41: EINHEIT ZUM ERZEUGEN BEWEGTOBJEKTFREI GEMACHTER BILDER
42: PERSONENDETEKTOR
43: HEATMAP-INFORMATIONSGENERATOR
51: BILDABRUFEINHEIT
52: MANGELZUSTANDSDETEKTOR
53: DAUERERFASSUNGSEINHEIT
54: BILDSCHIRMGENERATOR
55: ANZEIGEELEMENTFESTLEGUNGSEINHEIT
56: MANGELBEREICHSBILDGENERATOR
57: PRIORITÄTSFESTLEGUNGSEINHEIT

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 5081552 [0004]

Claims

Warenüberwachungsvorrichtung, die einen Mangelzustand von Waren, die auf einer Verkaufsfläche ausgestellt sind, überwacht basierend auf einem Verkaufsflächenbild, in welchem ein sich bewegendes Objekt aus einem Bild, das durch Abbilden der Verkaufsfläche erhalten wird, entfernt ist, wobei die Vorrichtung umfasst: eine Bildabrufeinheit, die das Verkaufsflächenbild im Zeitablauf sequenziell abruft, einen Mangelzustandsdetektor, der den Mangelzustand von Waren, die auf der Verkaufsfläche ausgestellt sind, jedes Mal basierend auf dem Verkaufsflächenbild detektiert, wenn die Bildabrufeinheit das Verkaufsflächenbild abruft; eine Dauererfassungseinheit, die eine Dauer des Mangelzustands erfasst, falls der Mangelzustand der Waren durch den Mangelzustandsdetektor detektiert wird; und einen Bildschirmgenerator, der ein Zustandsanzeigebild erzeugt, dessen Anzeigeform sich gemäß einer Länge der Dauer basierend auf einem Ausgabeergebnis der Dauererfassungseinheit ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Warenüberwachungsvorrichtung nach Anspruch 1, wobei der Mangelzustandsdetektor die Verkaufsflächenbilder eines früheren Zeitpunkts und eines aktuellen Zeitpunkts vergleicht, um einen Mangelbereich, der ein Bildschirmbereich ist, in welchem ein Mangelzustand von Waren auf dem Verkaufsflächenbild eintritt, basierend auf einem Unterschied zwischen den beiden Bildern zu detektieren.
Warenüberwachungsvorrichtung nach Anspruch 2, wobei der Bildschirmgenerator ein Mangelbereichsbild, das den Mangelbereich darstellt, als das Zustandsanzeigebild erzeugt und das Mangelbereichsbild in einer entsprechenden Position auf dem Verkaufsflächenbild einblendet.
Warenüberwachungsvorrichtung nach Anspruch 3, ferner umfassend: eine Anzeigeelementfestlegungseinheit, die ein Anzeigeelement von mindestens einem von Farbe, Durchlässigkeit, Vorhandensein/Nichtvorhandensein einer Rahmenlinie und Stärke einer Rahmenlinie des Mangelbereichsbildes festlegt, das gemäß einer Bedieneingabe durch den Benutzer geändert werden kann.
Warenüberwachungsvorrichtung nach Anspruch 3, wobei der Bildschirmgenerator Zeichen, die eine Prioritätsreihenfolge darstellen, die gemäß der Länge der Dauer festgelegt wird, in der Nachbarschaft des Mangelbereichsbildes auf dem Verkaufsflächenbild anzeigt.
Warenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 5, ferner umfassend: eine Prioritätsfestlegungseinheit, die eine Priorität des Mangelbereichs basierend auf anderen Bewertungsinformationen über die Verkaufsfläche und die Waren als der Länge der Dauer festlegt, wobei der Bildschirmgenerator das Mangelbereichsbild so erzeugt, dass es die Priorität mit einem Anzeigeelement darstellt, das von dem Anzeigeelement verschieden ist, das die Länge der Dauer darstellt.
Warenüberwachungsvorrichtung nach Anspruch 6, wobei die Prioritätsfestlegungseinheit die Priorität des Mangelbereichs als die Bewertungsinformationen basierend auf mindestens einer von Informationen über einen Status von Kunden, die sich auf der Verkaufsfläche umschauen, Informationen über den Umsatz der Waren, Informationen über den Bestand der Waren, Informationen über die Lieferung der Waren und Informationen über Priorität-pro-Ware-Klassifikation festlegt.
Warenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei der Bildschirmgenerator bewirkt, dass das Zustandsanzeigebild in einer ersten Anzeigeform angezeigt wird, wenn der Mangelzustand von Waren durch den Mangelzustandsdetektor erstmals detektiert wird, und das Zustandsanzeigebild in eine zweite Anzeigeform umändert, wenn die Dauer eine vorbestimmte Bezugszeit überschreitet.
Warenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei die Bildabrufeinheit das Verkaufsflächenbild in vorbestimmten Zeiteinheitsintervallen abruft und die Dauererfassungseinheit die Verkaufsflächenbilder zählt, in welchen der Mangelzustand durch den Mangelzustandsdetektor fortlaufend detektiert wird, und die Dauer basierend auf der Anzahl der Verkaufsflächenbilder erfasst, in welchen fortlaufend ein Mangelzustand detektiert wird.
Warenüberwachungssystem, das einen Mangelzustand von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild überwacht, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, wobei das System umfasst: eine Kamera, welche die Verkaufsfläche abbildet, um das Verkaufsflächenbild auszugeben; eine Servervorrichtung, die einen Überwachungsbildschirm, der das Verkaufsflächenbild umfasst, erzeugt und ausgibt; und eine Benutzerendgerätevorrichtung, die den Überwachungsbildschirm anzeigt, wobei die Servervorrichtung umfasst eine Bildabrufeinheit, die das Verkaufsflächenbild sequenziell im Zeitablauf abruft; einen Mangelzustandsdetektor, der den Mangelzustand von Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal detektiert, wenn die Bildabrufeinheit sie das Verkaufsflächenbild abruft; eine Dauererfassungseinheit, die eine Dauer des Mangelzustands erfasst, falls der Mangelzustand der Waren durch den Mangelzustandsdetektor detektiert wird, und einen Bildschirmgenerator, der ein Zustandsanzeigebild erzeugt, dessen Anzeigeform sich gemäß einer Länge der Dauer basierend auf einem Ausgabeergebnis der Dauererfassungseinheit ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.
Warenüberwachungsverfahren zum Veranlassen einer Informationsverarbeitungsvorrichtung zum Durchführen von Verarbeitung zum Überwachen eines Mangelzustands von Waren, die auf einer Verkaufsfläche ausgestellt sind, basierend auf einem Verkaufsflächenbild, auf welchem ein sich bewegendes Objekt aus einem Bild entfernt ist, das durch Abbilden der Verkaufsfläche erhalten wird, wobei das Verfahren umfasst: sequenzielles Abrufen des Verkaufsflächenbildes im Zeitablauf; Detektieren des Mangelzustands von Waren, die auf der Verkaufsfläche ausgestellt sind, basierend auf dem Verkaufsflächenbild jedes Mal, wenn das Verkaufsflächenbild abgerufen wird; Erfassen einer Dauer des Mangelzustands, falls der Mangelzustand der Waren detektiert wird, und Erzeugen eines Zustandsanzeigebildes, dessen Anzeigeform sich gemäß einer Länge der Dauer ändert, um einen Überwachungsbildschirm zu erzeugen, der einen Bildbereich umfasst, in welchem das Zustandsanzeigebild im Verkaufsflächenbild eingeblendet ist.