DE112016000909T5

DE112016000909T5 - Überwachungsvorrichtung und Überwachungsverfahren

Info

Publication number: DE112016000909T5
Application number: DE112016000909.7T
Authority: DE
Inventors: Yuichi Matsumoto; Kazuma Yoshida
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2015-02-25
Filing date: 2016-01-29
Publication date: 2017-11-23
Also published as: JP5988225B2; WO2016136144A1; US10535143B2; JP2016158156A; US20180033151A1

Abstract

In einem Fall, in dem ein Objekt, das sich in einer ähnlichen Weise wie eine Person bewegt, als ein Ziel zur Überwachung festgelegt ist, ist es möglich, den Zustand des Objektes, das einem Überwachungsziel entspricht, geeignet zu prüfen, während ein Schutz der Privatsphäre von Personen gewahrt bleibt. Eine Überwachungsvorrichtung umfasst einen Maskierungungültigkeitsbereichfestleger (27) der einen Maskierungungültigkeitsbereich in Video eines Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers festlegt, einen Bewegtobjektdetektor (31), der ein bewegtes Objekt in dem Video des Überwachungsbereiches detektiert und Bereichsinformation für jedes bewegte Objekt erlangt, einen Verarbeitungszielauswähler (32), der ob ein Bildbereich eines bewegten Objektes, der durch den Bewegtobjektdetektor detektiert wird, als ein Ziel der Maskierungsverarbeitung festzulegen ist oder nicht in Übereinstimmung damit auswählt, ob der Bildbereich in dem Maskierungungültigkeitsbereich angeordnet ist oder nicht, und eine Videoausgabesteuerung (26), die ein Ausgabevideo, in welchem die Maskierungsverarbeitung nur auf einem Bildbereich eines bewegten Objektes, der als ein Ziel der Maskierungsverarbeitung durch den Verarbeitungszielauswähler festgelegt ist, implementiert ist, erzeugt und ausgibt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Überwachungsvorrichtung und ein Überwachungsverfahren, die ein Ausgabevideo erzeugen und ausgeben, auf welchem eine Maskierungsverarbeitung implementiert ist, welche Bildbereiche von bewegten Körpern, die in Video eines Überwachungsbereiches detektiert werden, in Maskenbilder ändert.
STAND DER TECHNIK
Ein Überwachungssystem, das eine Werkhalle, in welcher verschiedene Arbeiten wie beispielsweise Lagerwesen, Sortierung und Versand durchgeführt werden, durch Verwenden einer Kamera fotografiert und den Zustand der Werkhalle durch Verwenden der Bilder der Kamera überwacht, kommt in Verteilzentren zur Anwendung, aber es gibt eine Forderung nach einer Möglichkeit des Überprüfens des Transportzustands eines Pakets in der Werkhalle in Video der Kamera wobei dann, wenn Bilder mit einem solchen Zweck verwendet werden, im Gegensatz zu einem Fall, in dem Bilder mit dem Zweck der Überwachung zur Verbrechensverhütung und Katastrophenverhütung verwendet werden, es wünschenswert ist, dass die Privatsphäre von Personen, wie beispielsweise Angestellten, die sich in der Werkhalle befinden, geschützt wird.
In Reaktion auf die Forderung, die Privatsphäre derartiger Personen zu schützen, sind Techniken zum Durchführen einer Maskierungsverarbeitung (eine Verschleierungsverarbeitung), die Personenbereiche in Videos, die durch eine Kamera fotografiert werden, zu einem spezifischen Maskenbild ändert, aus dem Stand der Technik (Verweis auf PTL 1 und PTL 2) bekannt. In diesen Techniken wird eine Maskierungsverarbeitung für Bildbereiche von bewegten Körpern durchgeführt, indem bewegte Körper durch Verwenden eines Hintergrunddifferentialsystems detektiert werden, das ein Vordergrundbild durch Vergleich mit einem Hintergrundbild extrahiert.
Liste der Zitationen
Patentliteratur

PTL 1: Japanische ungeprüfte Patentveröffentlichung Nr. 2013-186838
PTL 2: Japanisches Patent Nr. 5159381

ZUSAMMENFASSUNG DER ERFINDUNG
Eine Überwachungsvorrichtung der vorliegenden Offenbarung, die ein Ausgabevideo erzeugt und ausgibt, auf welchem eine Maskierungsverarbeitung, welche einen Bildbereich eines bewegten Objektes, das in Video eines Überwachungsbereiches detektiert wird, in ein Maskenbild ändert, implementiert ist, umfasst einen Maskierungungültigkeitsbereichfestleger, der einen Maskierungungültigkeitsbereich in Video eines Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers festlegt, einen Bewegtobjektdetektionsteil, der ein bewegtes Objekt in dem Video des Überwachungsbereichs detektiert und Bereichsinformationen für jedes bewegte Objekt erlangt, einen Verarbeitungszielauswähler, der ob ein Bildbereich eines bewegten Objektes, das durch den Bewegtobjektdetektierer detektiert wird, als ein Ziel der Maskierungsverarbeitung festzulegen ist oder nicht in Übereinstimmung damit auswählt, ob der Bildbereich in dem Maskierungungültigkeitsbereich angeordnet ist oder nicht, und eine Videoausgabesteuerung, die ein Ausgabevideo erzeugt und ausgibt, in welchem die Maskierungsverarbeitung nur auf einem Bildbereich eines bewegten Objektes, das als ein Ziel der Maskierungsverarbeitung durch den Verarbeitungszielauswähler festgelegt ist, implementiert ist.
Zusätzlich bewirkt ein Überwachungsverfahren der vorliegenden Offenbarung, das eine Informationsverarbeitungsvorrichtung eine Verarbeitung des Erzeugens und Ausgebens eines Ausgabevideos durchführt, auf welchem eine Maskierungsverarbeitung, welche einen Bildbereich eines bewegten Objektes, das in Video eines Überwachungsbereiches detektiert wird, in ein Maskenbild ändert, implementiert ist, wobei das Verfahren einen Schritt des Festlegens eines Maskierungungültigkeitsbereiches in Video des Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers, einen Schritt des Detektierens eines bewegten Objektes in dem Video des Überwachungsbereiches und des Erlangens von Bereichsinformationen für jedes bewegte Objekt, einen Schritt des Auswählens, ob ein Bildbereich eines bewegten Objektes, das in dem Schritt des Detektierens detektiert wird, als ein Ziel der Maskierungsverarbeitung in Übereinstimmung damit festzulegen ist oder nicht, ob der Bildbereich in dem Maskierungungültigkeitsbereich angeordnet ist oder nicht; und einen Schritt des Erzeugens und Ausgebens eines Ausgabevideos, in welchem die Maskierungsverarbeitung nur auf einem Bildbereich eines bewegten Objektes, der als ein Ziel der Maskierungsverarbeitung festgelegt ist, implementiert ist, aufweist.
Gemäß der vorliegenden Offenbarung ist eine Maskierungsverarbeitung in Bildbereichen bewegter Körper, die in einem Maskierungungültigkeitsbereich angeordnet sind, implementiert und die Maskierungsverarbeitung ist in Bildbereichen bewegter Körper, die in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich (einem Maskierunggültigkeitsbereich) angeordnet sind, nicht implementiert. Somit wird, indem ein Maskierungungültigkeitsbereich auf einen Bereich festgelegt wird, in dem ein einem Überwachungsziel entsprechendes Objekt vorhanden ist, ein Zustand erhalten, in dem die Maskierungsverarbeitung in einem Bildbereich einer Person implementiert ist und die Maskierungsverarbeitung in einem Bildbereich eines einem Überwachungsziel entsprechenden Objektes nicht implementiert ist und es ist möglich, den Zustand des einem Überwachungsziel entsprechenden Objektes auf geeignete Weise zu überprüfen, während ein Schutz der Privatsphäre von Personen erhalten wird.
KURZE BESCHREIBUNG DER ZEICHNUNG
1 ist eine Gesamtkonfigurationsansicht eines Überwachungssystems gemäß einer ersten beispielhaften Ausführungsform.
2A ist eine erläuternde Ansicht, die eine durch Kamera 1 durchgeführte Verarbeitung beschreibt.
2B ist eine erläuternde Ansicht, die eine durch Kamera 1 durchgeführte Verarbeitung beschreibt.
3A ist eine erläuternde Ansicht, die eine durch Kamera 1 durchgeführte Verarbeitung beschreibt.
3B ist eine erläuternde Ansicht, die eine durch Kamera 1 durchgeführte Verarbeitung beschreibt.
4A ist eine erläuternde Ansicht, die eine durch Kamera 1 durchgeführte Verarbeitung beschreibt.
4B ist eine erläuternde Ansicht, die eine durch Kamera 1 durchgeführte Verarbeitung beschreibt.
5 ist ein funktionales Blockdiagramm, das eine schematische Konfiguration der Kamera 1 zeigt.
6 ist eine erläuternde Ansicht, die einen auf einem Monitor 4 angezeigten Überwachungsbildschirm zeigt.
7 ist eine erläuternde Ansicht, die einen auf dem Monitor 4 angezeigten Maskierungungültigkeitsbereicheinstellungsbildschirm zeigt.
8A ist eine erläuternde Ansicht, die einen auf dem Monitor 4 angezeigten Bewegungsmustereinstellungsbildschirm zeigt.
8B ist eine erläuternde Ansicht, die einen auf dem Monitor 4 angezeigten Bewegungsmustereinstellungsbildschirm zeigt.
9A ist eine erläuternde Ansicht, die eine Zusammenfassung einer Überwachungsverarbeitung gemäß einer zweiten beispielhaften Ausführungsform beschreibt.
9B ist eine erläuternde Ansicht, die eine Zusammenfassung einer Überwachungsverarbeitung gemäß der zweiten beispielhaften Ausführungsform beschreibt.
10 ist ein funktionales Blockdiagramm, das eine schematische Konfiguration der Kamera 1 zeigt.
11A ist eine erläuternde Ansicht, die eine Verarbeitung in einem Fall beschreibt, in dem eine Person und ein Paket in Video, in welchem sich die Person und das Paket in der Nähe zueinander befinde, überlappen.
11B ist eine erläuternde Ansicht, die eine Verarbeitung in einem Fall beschreibt, in dem eine Person und ein Paket in Video, in welchem sich die Person und das Paket in der Nähe zueinander befinden, überlappen.
11C ist eine erläuternde Ansicht, die eine Verarbeitung in einem Fall beschreibt, in dem eine Person und ein Paket in Video, in welchem sich die Person und das Paket in der Nähe zueinander befinden, überlappen.
12 ist eine erläuternde Ansicht, die eine Verarbeitung beschreibt, die einen Zustand detektiert, in welchem eine Person und ein Paket überlappen.
13 ist eine erläuternde Ansicht, die eine weiteres Bespiel einer Verarbeitung in einem Fall beschreibt, in welchem eine Person und ein Paket in Video, in welchem sich die Person und das Paket in der Nähe zueinander befinden, überlappen.
14 ist eine erläuternde Ansicht, die eine Zusammenfassung einer Überwachungsverarbeitung gemäß einer dritten beispielhaften Ausführungsform beschreibt.
15 ist ein funktionales Blockdiagramm, das eine schematische Konfiguration von Kamera 101 und PC 102 in einer vierten beispielhaften Ausführungsform zeigt.
BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Zunächst vor der Beschreibung der beispielhaften Ausführungsformen werden Probleme des Standes der Technik kurz beschrieben. Indes existiert in der oben beschriebenen Weise eine Forderung nach einer Möglichkeit des Überprüfens des Transportzustands eines Pakets in einer Werkhalle in Video einer Kamera in einem Verteilzentrum und in diesem Fall ist ein Paket ein Ziel zur Überwachung. Allerdings wird in der Weise des Standes der Technik, als ein Ergebnis davon, dass ein transportiertes Paket als ein bewegtes Objekt in einer einfachen Maskierungsverarbeitung basierend auf einem Hintergrunddifferentialsystem detektiert wird, ein Zustand erhalten, in dem eine Maskierungsverarbeitung sowohl für Personen als auch für Pakete durchgeführt wird, und damit gibt es ein Problem, dass es nicht möglich ist, den Transportzustand eines Pakets angemessen zu überprüfen.
In solch einem Fall ist es eine Aufgabe der vorliegenden Offenbarung, eine Überwachungsvorrichtung und ein Überwachungsverfahren bereitzustellen, in welchem es möglich ist, den Zustand des einem Überwachungsziel entsprechenden Objektes angemessen zu überprüfen, während ein Schutz der Privatsphäre von Personen in einem Fall erreicht wird, in dem ein Objekt, das sich auf ähnliche Weise wie eine Person bewegt, als ein Ziel zur Überwachung festgelegt ist.
Eine erste Offenbarung zum Lösen des oben erwähnten Problems ist eine Überwachungsvorrichtung, die ein Ausgabevideo erzeugt und ausgibt, auf welchem eine Maskierungsverarbeitung, welche einen Bildbereich eines bewegten Objektes, das in einem Überwachungsbereich detektiert wird, in ein Maskenbild ändert, implementiert ist und die eine Konfiguration hat, die aufweist: einen Maskierungungültigkeitsbereichfestleger, der einen Maskierungungültigkeitsbereich in Video des Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers festlegt, einen Bewegtobjektdetektionsteil, der ein bewegtes Objekt in dem Video des Überwachungsbereichs detektiert und Bereichsinformationen für jedes bewegte Objekt erlangt, einen Verarbeitungszielauswähler, der ob ein Bildbereich eines bewegten Objektes, das durch den Bewegtobjektdetektierer detektiert wird, als ein Ziel der Maskierungsverarbeitung festzulegen ist oder nicht in Übereinstimmung damit auswählt, ob der Bildbereich in dem Maskierungungültigkeitsbereich angeordnet ist oder nicht, und eine Videoausgabesteuerung, die ein Ausgabevideo erzeugt und ausgibt, in welchem die Maskierungsverarbeitung nur auf einem Bildbereich eines bewegten Objektes, der als ein Ziel der Maskierungsverarbeitung durch den Verarbeitungszielauswähler festgelegt ist, implementiert ist.
Gemäß dieser Konfiguration ist eine Maskierungsverarbeitung in Bildbereichen bewegter Körper, die in einem Maskierungungültigkeitsbereich angeordnet sind, implementiert und die Maskierungsverarbeitung ist in Bildbereichen bewegter Körper, die in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich (einem Maskierunggültigkeitsbereich) angeordnet sind, nicht implementiert. Somit wird, indem ein Maskierungungültigkeitsbereich auf einen Bereich festgelegt wird, in welchem sich ein einem Überwachungsziel entsprechendes Objekt befindet, ein Zustand erhalten, in welchem die Maskierungsverarbeitung in einem Bildbereich einer Person implementiert ist und die Maskierungsverarbeitung in einem Bildbereich eines einem Überwachungsziel entsprechenden Objektes nicht implementiert ist, und es ist möglich, den Zustand des einem Überwachungsziel entsprechenden Objektes angemessen zu überprüfen, während der Schutz der Privatsphäre von Personen erhalten wird.
Zusätzlich hat eine zweite Offenbarung eine Konfiguration, die weiter einen Bewegungsmusterfestleger umfasst, der ein Bewegungsmuster eines vorbestimmten bewegten Objektes entsprechend einer Bedienungseingabe eines Nutzers festlegt, wobei der Verarbeitungszielauswähler ob ein Bildbereich eines bewegten Objektes, das in dem Maskierungungültigkeitsbereich angeordnet ist, als ein Ziel der Maskierungsverarbeitung festzulegen ist oder nicht in Übereinstimmung damit auswählt, ob das bewegte Objekt und das Bewegungsmuster einander entsprechen oder nicht.
Gemäß dieser Konfiguration wird, da ein einem Überwachungsziel entsprechendes Objekt mit einem im Vorhinein festgelegten Bewegungsmuster übereinstimmt, ein Bildbereich des bewegten Objektes nicht als ein Ziel der Maskierungsverarbeitung festgelegt und es ist somit möglich, einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung auf dem einem Überwachungsziel entsprechenden Objekt durchgeführt wird. Weiter wird, da es nicht wahrscheinlich ist, dass eine Person eine Bewegung durchführt, die mit dem Bewegungsmuster übereinstimmt, ein Bildbereich einer Person als ein Ziel der Maskierungsverarbeitung festgelegt und somit ist es möglich, die Unannehmlichkeit zu vermeiden, dass der Bildbereich einer in dem Maskierungungültigkeitsbereich angeordneten Person in einem Zustand angezeigt wird, in welchem die Maskierungsverarbeitung nicht durchgeführt wurde.
Zusätzlich hat eine dritte Offenbarung eine Konfiguration, in welcher das Bewegungsmuster durch Verwenden wenigstens einer Bewegungsgeschwindigkeit und/oder einer Bewegungsrichtung eines bewegten Objektes festgelegt ist.
Gemäß dieser Konfiguration ist es möglich, eine Verarbeitung, die auswählt, ob ein Bildbereich eines bewegten Objektes als ein Ziel der Maskierungsverarbeitung festgelegt ist oder nicht, mit hoher Genauigkeit durchzuführen.
Zusätzlich hat eine vierte Offenbarung eine Konfiguration, in welcher der Verarbeitungszielauswähler dann, wenn ein festes Bild, das ein vorbestimmtes bewegtes Objekt darstellt, in einem Bildbereich eines bewegten Objektes, das in dem Maskierungungültigkeitsbereich angeordnet ist, detektiert wird, den Bildbereich des bewegten Objektes nicht als ein Ziel der Maskierungsverarbeitung festlegt.
Gemäß dieser Konfiguration ist es, da ein Bildbereich eines einem Überwachungsziel entsprechenden Objektes aufgrund der Detektion eines festen Bildes nicht als ein Ziel der Maskierungsverarbeitung festgelegt ist, möglich, einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung auf dem einem Überwachungsziel entsprechenden Objekt durchgeführt wird. Weiter wird, da ein festes Bild nicht in einem Bildbereich einer Person detektiert wird, ein Bildbereich einer Person als ein Ziel der Maskierungsverarbeitung festgelegt und somit ist es möglich, die Unannehmlichkeit zu vermeiden, dass der Bildbereich einer Person, die in dem Maskierungungültigkeitsbereich angeordnet ist, in einem Zustand angezeigt wird, in welchem die Maskierungsverarbeitung nicht durchgeführt wurde.
Zusätzlich hat eine fünfte Offenbarung eine Konfiguration, die weiter einen Bewegtobjektverfolgungsteil umfasst, der ein durch den Bewegtobjektdetektor detektiertes bewegtes Objekt verfolgt, wobei der Verarbeitungszielauswähler in einem Fall, in dem ein in dem Maskierungungültigkeitsbereich angeordnetes bewegtes Objekt in den Maskierungungültigkeitsbereich eintritt, nachdem es in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich erschienen ist, einen Bildbereich des bewegten Objektes fortlaufend als das Ziel der Maskierungsverarbeitung festlegt.
Gemäß dieser Konfiguration ist es, da es wahrscheinlich ist, dass ein bewegtes Objekt, das in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich (einem Maskierunggültigkeitsbereich) erscheint und in den Maskierungungültigkeitsbereich eintritt, eine Person ist, durch Festlegen des Bildbereiches eines solchen bewegten Objektes als ein Ziel der Maskierungsverarbeitung möglich, die Unannehmlichkeit zu vermeiden, dass der Bildbereich einer Person, die in dem Maskierungungültigkeitsbereich angeordnet ist, in einem Zustand angezeigt wird, in welchem die Maskierungsverarbeitung nicht durchgeführt wurde.
Zusätzlich hat eine sechste Offenbarung eine Konfiguration, die weiter einen Personenbestimmungsteil umfasst, der bestimmt, ob ein bewegtes Objekt, das durch den Bewegtobjektdetektor detektiert wird, eine Person ist oder nicht, wobei der Bewegtobjektverfolgungsteil ein bewegtes Objekt, das durch den Personenbestimmungsteil als Person bestimmt ist, verfolgt.
Gemäß dieser Konfiguration ist es möglich, da nur ein bewegtes Objekt, das eine Person ist, als ein Ziel der Maskierungsverarbeitung festgelegt ist, einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung unnötigerweise in einem Bildbereich eines bewegten Objektes, das keine Person ist, durchgeführt wird.
Zusätzlich ist eine siebte Offenbarung ein Überwachungsverfahren, das eine Informationsverarbeitungsvorrichtung zum Durchführen einer Verarbeitung führt, die ein Ausgabevideo erzeugt und ausgibt, auf welchem eine Maskierungsverarbeitung, welche einen Bildbereich eines bewegten Objektes, das in Video eines Überwachungsbereiches detektiert wird, in ein Maskenbild ändert, implementiert ist, und das eine Konfiguration hat, die aufweist: einen Schritt des Festlegens eines Maskierungungültigkeitsbereiches in Video des Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers; einen Schritt des Detektierens eines bewegten Objektes in dem Video des Überwachungsbereiches und des Erlangens von Bereichsinformationen für jedes bewegte Objekt; einen Schritt des Auswählens, ob ein Bildbereich eines bewegten Objektes, das in dem Schritt des Detektierens detektiert wird, als ein Ziel der Maskierungsverarbeitung in Übereinstimmung damit festzulegen ist oder nicht, ob der Bildbereich in dem Maskierungungültigkeitsbereich angeordnet ist oder nicht; und einen Schritt des Erzeugens und Ausgebens eines Ausgabevideos, in welchem die Maskierungsverarbeitung nur auf einem Bildbereich eines bewegten Objektes, der als ein Ziel der Maskierungsverarbeitung festgelegt ist, implementiert ist.
Gemäß dieser Konfiguration ist es, auf ähnliche Weise zu der ersten Offenbarung, in einem Fall, in welchem ein Objekt, das sich auf ähnliche Weise wie eine Person bewegt, als ein Ziel zur Überwachung festgelegt ist, möglich, den Zustand des einem Überwachungsziel entsprechenden Objektes angemessen zu überprüfen, während ein Schutz der Privatsphäre von Personen erreicht wird.
Im Folgenden werden beispielhafte Ausführungsformen mit Verweis auf die Zeichnungen beschrieben.
(ERSTE BEISPIELHAFTE AUSFÜHRUNGSFORM)
1 ist eine Gesamtkonfigurationsansicht eines Überwachungssystems gemäß einer ersten beispielhaften Ausführungsform. Das Überwachungssystem ist mit einem Verteilzentrum oder Ähnlichem als Ziel davon ausgelegt und weist eine Kamera (eine Überwachungsvorrichtung) 1, einen Recorder (einer Videosammelvorrichtung) 2 und einen PC (eine Inspektionsvorrichtung) 3 auf.
Die Kamera 1 ist an einem geeigneten Ort der Werkhalle eines Verteilzentrums (einer Einrichtung) installiert und Video der Werkhalle (Überwachungsbereich) wird durch die Kamera 1 abgebildet. Die Kamera 1 ist eine sogenannte IP-Kamera bei der eine Netzwerkverbindung möglich ist, der Recorder 2 ist auch derart konfiguriert, dass eine Netzwerkverbindung möglich ist, die Kamera 1 und der Recorder 2 werden mit einem in dem Verteilzentrum installierten LAN verbunden und Videoausgabe der Kamera 1 wird in dem Recorder 2 gesammelt.
Zusätzlich ist auch der PC 3 mit dem LAN verbunden, Videoausgabe von der Kamera 1 und dem Recorder 2 wird in den PC 3 eingegeben und Video wird auf einem Monitor (eine Anzeigevorrichtung) 7, die mit dem PC 3 verbunden ist, angezeigt. Als ein Ergebnis hiervon kann ein Nutzer wie beispielsweise ein Administrator des Verteilzentrums Video der Werkhalle, das durch die Kamera 1 aufgenommen wird, in Echtzeit inspizieren und kann zusätzlich vergangenes Video, das auf dem Recorder 2 aufgezeichnet ist, inspizieren.
Zusätzlich sind die Kamera 1, der Recorder 2 und der PC 3 jeweils in einer Vielzahl von Verteilzentren installiert, ein PC 11 ist an einem Firmensitz, der die Vielzahl von Verteilzentren zusammenführt, installiert und der PC 11 ist mit der Kamera 1 und dem Recorder 2 jeden Verteilzentrums über ein WAN verbunden. Als ein Ergebnis hiervon kann ein Nutzer im Firmensitz Videos der Werkhallen, die durch die Kameras 1 aufgenommen werden, in Echtzeit inspizieren und kann zusätzlich vergangenes Video, das auf den Recordern 2 aufgezeichnet ist, inspizieren.
Als Nächstes wird eine Zusammenfassung einer durch die Kamera 1, die in 1 gezeigt ist, durchgeführten Verarbeitung beschrieben. 2A, 2B, 3A, 3B, 4A und 4B sind erläuternde Ansichten, die eine durch die Kamera 1 durchgeführte Verarbeitung beschreiben.
In der Kamera 1 wird eine Werkhalle, die einem Überwachungsbereich eines Verteilzentrums entspricht, fotografiert und ein in 2A gezeigtes Video wird erhalten. In diesem Video kann ein Zustand, in welchem Pakete durch ein Förderband (eine Transportvorrichtung), die in der Werkhalle installiert ist, transportiert werden, gesehen werden und Personen (Arbeiter), die Arbeiten wie beispielsweise Sortieren und Überprüfen des Transportzustands durchführen, sind in der Umgebung davon sichtbar.
In der vorliegenden beispielhaften Ausführungsform wird eine Verarbeitung, die bewegte Körper in dem in 2A gezeigten Video des Überwachungsbereiches detektiert, durchgeführt und eine Maskierungsverarbeitung; das heißt, eine Verarbeitung, die Bildbereiche bewegter Körper in Maskenbilder ändert (ersetzt), ist auf bewegten Körpern, die durch die Bewegtobjektdetektionsverarbeitung detektiert werden, implementiert.
Zu dieser Zeit wird in einer Bewegtobjektdetektionsverarbeitung, da das Förderband und darauf transportierte Pakete als bewegte Körper detektiert werden, wenn alle der aus dem Video des Überwachungsbereichs detektierten bewegten Körper als Ziele festgelegt werden und die Maskierungsverarbeitung implementiert ist, wie in 2B gezeigt ist, ein Zustand, in dem die Maskierungsverarbeitung auf den Paketen und dem Förderband zusätzlich zu den Personen durchgeführt wird, erhalten und somit gibt es ein Problem, dass obwohl es möglich ist, die Privatsphäre der Personen zu schützen, es nicht möglich ist, die Transportzustände der Pakete angemessen zu überprüfen.
In so einem Beispiel wird in der vorliegenden beispielhaften Ausführungsform, wie in 3A gezeigt, ein Maskierungungültigkeitsbereich, in welchem die Maskierungsverarbeitung ungültig ist, auf einen Bildbereich der Pakete und des Förderbandes festgelegt, wobei Bildbereiche der bewegten Körper, die in dem Maskierungungültigkeitsbereich angeordnet sind, nicht als Ziele der Maskierungsverarbeitung festgelegt sind und Bildbereiche bewegter Körper, die in von dem Maskierungungültigkeitsbereich verschiedenen Bereichen (Maskierunggültigkeitsbereiche) als Ziele der Maskierungsverarbeitung festgelegt sind.
Als ein Ergebnis hiervon wird, wie in 3B gezeigt, ein Zustand erhalten, in welchem die Maskierungsverarbeitung auf bewegten Körpern, die in dem Maskierunggültigkeitsbereich angeordnet sind, durchgeführt wird; das heißt, Personen, und die Maskierungsverarbeitung auf bewegten Körpern, die in dem Maskierungungültigkeitsbereich angeordnet sind nicht durchgeführt wird; das heißt die Pakete und das Förderband, und es ist möglich, den Transportzustand der Pakete geeignet zu überprüfen.
Zusätzlich wird in dem in 3A und 3B gezeigten Beispiel, da der Maskierungungültigkeitsbereich derart festgelegt ist, dass eine Grenzlinie des Maskierungungültigkeitsbereiches die Bildbereiche der Pakete schneidet, die Maskierungsverarbeitung auf Teilen der Bildbereiche der Pakete durchgeführt, die über den Maskierungungültigkeitsbereich hervorstehen. Auf diese Weise ist der Grund dafür, dass der Maskierungungültigkeitsbereich schmal eingestellt wird, dass der Schutz der Privatsphäre der Personen relativ dadurch erreicht wird, dass der Verzicht der Maskierungsverarbeitung auf den Personen soweit wie möglich reduziert wird, während es kein Problem ist, wenn die Maskierungsverarbeitung bis zu einem bestimmten Grad auf den Paketen durchgeführt wird. Zusätzlich kann der Maskierungungültigkeitsbereich in einem Fall, in dem es gewünscht ist, einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung auf Teilen der Bildbereiche der Pakete ausgeführt wird, breit festgelegt werden, um alle der Bildbereiche, durch welche die Pakete passieren, zu umringen.
Auf diese Weise ist es, falls Bildbereiche bewegter Körper, die als Ziele der Maskierungsverarbeitung festgelegt werden, durch Verwenden einer Bedingung des Vorhandenseins oder Abhandenseins in dem Maskierungungültigkeitsbereich ausgewählt werden, möglich, die Transportzustände der Pakete geeignet zu überprüfen, während die Privatsphäre der Personen geschützt wird, aber wenn eine Person sich dem Förderband nähert und den Maskierungungültigkeitsbereich betritt; das heißt, wenn ein Teil eines Bildbereiches einer Person einen Zustand des Überlappens mit dem Maskierungungültigkeitsbereich wie in 4A gezeigt erlangt, wird die Maskierungsverarbeitung nur auf Teilen der Bildbereiche der Personen durchgeführt, die in dem Maskierunggültigkeitsbereich angeordnet sind, wobei die Maskierungsverarbeitung auf einem Teil eines Bildbereiches der Person, der in dem Maskierungungültigkeitsbereich angeordnet ist, nicht ausgeführt wird und somit ist es nicht möglich, einen relativen Schutz der Privatsphäre der Personen zu erreichen.
In einem solchen Fall wird in der vorliegenden beispielhaften Ausführungsform mit Fokus auf die Tatsache, dass die Pakete und das Förderband einem konstanten Bewegungsmuster (Bewegungsgeschwindigkeit, Bewegungsrichtung und Ähnliches) folgen, das Bewegungsmuster der Pakete und des Förderbandes festgelegt und eine Verarbeitung wird durchgeführt, in welcher die Bildbereiche der bewegten Körper, die in dem Maskierungungültigkeitsbereich angeordnet sind, in einem Fall, in welchem die bewegten Körper dem festgelegten Bewegungsmuster entsprechend, nicht als Ziele der Maskierungsverarbeitung festgelegt werden und die Bildbereiche der bewegten Körper in einem Fall als Ziele der Maskierungsverarbeitung festgelegt werden, in welchem die bewegten Körper dem festgelegten Bewegungsmuster nicht entsprechen.
Als Ergebnis hiervon wird, wie in 4B gezeigt, ein Zustand erlangt, in welchem die Maskierungsverarbeitung auf den Bildbereichen von Personen, die in dem Maskierungungültigkeitsbereich angeordnet sind, auch durchgeführt wird; das heißt, in welchem die Maskierungsverarbeitung auf allen der Bildbereiche der Personen durchgeführt wird, und nachdem es möglich ist, ein Weglassen der Maskierungsverarbeitung auf den Personen zu vermeiden, ist es somit möglich, einen relativen Schutz der Privatsphäre der Personen zu erreichen. Umgekehrt wird ein Zustand erhalten, in welchem die Maskierungsverarbeitung in den Bildbereichen (ein Zustand, in welchem eine Trennung von den Bildbereichen der Personen möglich ist) der Pakete, die dem festgelegten Bewegungsmuster entsprechen, nicht ausgeführt wird und somit ist es möglich, den Transportzustand der Pakete zu überprüfen.
Als Nächstes wird eine schematische Konfiguration der in 1 gezeigten Kamera 1 beschrieben. 5 ist ein funktionales Blockdiagramm, das eine schematische Konfiguration der Kamera 1 zeigt.
Die Kamera 1 weist einen Abbildungsteil 21, einen Videospeicher 22, einen Videoerlanger 23, einen Bildauswerter 24, einen Hintergrundbilderzeuger 25, eine Videoausgabesteuerung 26, einen Maskierungungültigkeitsbereichfestleger 27, einen Bewegungsmusterfestleger 28 und eine Schnittstelle 29 auf.
Der Abbildungsteil 21 ist durch ein Abbildungselement, einen Steuerschaltkreis davon und Ähnliches konfiguriert und gibt ein Video, in welchem Video des Überwachungsbereichs abgebildet ist, aus. Die Videoausgabe von dem Abbildungsteil 21 wird in dem Videospeicher 22 gesammelt.
Der Videospeicher 22 ist aus einer Speichervorrichtung wie beispielsweise einer Speicherkarte, einem Festplattenlaufwerk oder einem Solid-State-Laufwerk zusammengesetzt. Da der Videospeicher 22 in der Kamera 1 eingebaut ist, wird eine Speichervorrichtung mit vergleichsweise kleiner Kapazität eingesetzt und das jüngste Video wird in einem Rahmen der Speicherkapazität gesammelt.
In dem Videoerlanger 23 wird Video des Überwachungsbereichs, das durch den Abbildungsteil 21 abgebildet wird, von dem Abbildungsteil 21 oder dem Videospeicher 22 erlangt. In diesem Beispiel wird Video von dem Abbildungsteil 21 in einem Fall erlangt, in welchem ein aktuelles Video in Echtzeit angezeigt wird und Video wird von dem Videospeicher 22 in einem Fall erlangt, in dem vergangenes Video angezeigt wird.
Eine Verarbeitung, die einen Maskierungungültigkeitsbereich in Video des Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers, die unter Verwendung des PC 3 durchgeführt wird, festlegt, wird in dem Maskierungungültigkeitsbereichfestleger 27 durchgeführt. In dieser Verarbeitung wird eine Verarbeitung, in welcher ein Maskierungungültigkeitsbereicheinstellungsbildschirm (Verweis auf 7), auf welchem Video des Überwachungsbereichs angezeigt wird, auf dem Monitor 4, der mit dem PC 3 verbunden ist, angezeigt wird, Eingabeinformation, die von einer Bedienungseingabe eines Nutzers, die unter Verwendung einer Eingabevorrichtung 6 durchgeführt wird, abhängt, von dem PC 3 über ein Netzwerk erlangt wird und ein Maskierungungültigkeitsbereich auf der Basis der Eingabeinformation festgelegt wird, durchgeführt.
Eine Verarbeitung, die ein Bewegungsmuster eines Objektes (eines Paketes in der vorliegenden beispielhaften Ausführungsform), das einem Überwachungsziel entspricht, in Übereinstimmung mit der Bedienungseingabe des Nutzers, die durch Verwenden des PC 3 durchgeführt wird, festlegt, wird in dem Bewegungsmusterfestleger 28 durchgeführt. In dieser Verarbeitung wird eine Verarbeitung, in welcher ein Bewegungsmustereinstellungsbildschirm (Verweis auf 7), auf welchem Video des Überwachungsbereichs angezeigt wird, auf dem Monitor 4 angezeigt wird, Eingabeinformation, die von einer Bedienungseingabe des Nutzers, der unter Verwendung der Eingabevorrichtung 6 durchgeführt wird, von dem PC 3 über das Netzwerk erlangt wird und ein Bewegungsmuster auf der Basis der Eingabeinformation festgelegt wird, durchgeführt.
Eine Verarbeitung, bei welcher ein Hintergrundbild, in welchem Bilder (Vordergrundbilder) bewegter Körper aus dem Video entfernt wurden, erzeugt wird, wird in dem Hintergrundbilderzeuger 25 durchgeführt. In dieser Verarbeitung wird ein Hintergrundbild aus einer Vielzahl von Elementen des Videos (Rahmen bzw. „frames“) einer jüngsten vorbestimmten Lernperiode erzeugt und das Hintergrundbild wird sequenziell gemäß dem Erlangen neuen Videos (frames) aktualisiert. Eine öffentlich bekannte Technik kann in der Verarbeitung, die durch den Hintergrundbilderzeuger 25 durchgeführt wird, verwendet werden. Zusätzlich ist es bevorzugt, dass das Hintergrundbild sequenziell auf die oben beschriebene Weise aktualisiert wird, wobei Video von einem Zeitpunkt, zu welchem bewegte Körper wie beispielsweise Personen und Pakete nicht vorhanden sind, beispielsweise Video von vor dem Start der Arbeit, auf dem PC 3 im Vorhinein als das Hintergrundbild gespeichert werden kann.
Der Bildauswerter 24 ist eine Komponente, die Video des Überwachungsbereichs auswertet, das von dem Abbildungsteil 21 oder dem Videospeicher 22 über den Videoerlanger 23 erlangt wird, analysiert, Information betreffend bewegte Körper, die in dem Video dargestellt werden, erlangt und einen Bewegtobjektdetektor 31 und einen Verarbeitungszielauswähler 32 aufweist.
Eine Verarbeitung, die bewegte Körper aus dem Video des Überwachungsbereiches detektiert und Bereichsinformation (Positionsinformation betreffend einen Bildbereich) für jedes bewegte Objekt erlangt, wird in dem Bewegtobjektdetektor 31 durchgeführt. Die Verarbeitung wird auf der Basis eines durch den Hintergrundbilderzeuger 25 erzeugten Hintergrundbildes durchgeführt und Bildbereiche bewegter Körper werden aus einer Differenz zwischen Video zum Zeitpunkt von Interesse (die aktuelle Zeit in einer Echtzeitverarbeitung) und dem Hintergrundbild, das in einer Lernperiode vor dem Zeitpunkt von Interesse erlangt wird, spezifiziert. Zusätzlich kann die Verarbeitung, die durch den Bewegtobjektdetektor 31 durchgeführt wird, eine öffentlich bekannte Bilderkennungstechnik verwenden.
Zusätzlich ist ein sogenanntes „Hintergrundmodell“ in dem Hintergrundbild in der vorliegenden beispielhaften Ausführungsform enthalten, wobei das Hintergrundmodell aus einer Vielzahl von Bildern während der Lernperiode in dem Hintergrundbilderzeuger 25 konstruiert wird, wobei die Bildbereiche der bewegten Körper (Vordergrundbereiche) und ein Hintergrundbereich durch Vergleichen des Video zu dem Zeitpunkt von Interesse und dem Hintergrundmodell in dem Bewegtobjektdetektor 31 aufgeteilt werden und Positionsinformation der Bildbereiche der bewegten Körper erlangt wird.
Eine Verarbeitung, die auswählt, ob die Bildbereiche bewegter Körper, die durch den Bewegtobjektdetektor 31 detektiert werden, als Ziele der Maskierungsverarbeitung festzulegen sind oder nicht, wird in dem Verarbeitungszielauswähler 32 durchgeführt. In der vorliegenden beispielhaften Ausführungsform wird eine Verarbeitung, die auswählt, ob die Bildbereiche der bewegten Körper, die durch den Bewegtobjektdetektor 31 detektiert werden, als Ziele der Maskierungsverarbeitung in Übereinkunft damit festzulegen sind oder nicht, ob die Bildbereiche innerhalb des Maskierungungültigkeitsbereiches, der durch den Maskierungungültigkeitsbereichfestleger 27 festgelegt ist, angeordnet sind oder nicht; das heißt eine Verarbeitung, in welcher Bildbereiche bewegter Körper, die in dem Maskierungungültigkeitsbereich angeordnet sind, nicht als Ziele der Maskierungsverarbeitung festgelegt werden und Bildbereiche bewegter Körper, die in von dem Maskierungungültigkeitsbereich verschiedenen Bereichen (Maskierunggültigkeitsbereichen) angeordnet sind, als Ziele der Maskierungsverarbeitung festgelegt werden, wird durchgeführt.
Darüber hinaus wird eine Verarbeitung, die auswählt, ob die Bildbereiche der bewegten Körper, die in dem Maskierungungültigkeitsbereich angeordnet sind, als Ziele der Maskierungsverarbeitung in Übereinstimmung damit festzulegen sind oder nicht, ob die bewegten Körper davon dem durch den Bewegungsmusterfestleger 28 festgelegten Bewegungsmuster entsprechen; das heißt eine Verarbeitung, in welcher die Bildbereiche bewegter Körper nicht als Ziele der Maskierungsverarbeitung in einem Fall festgelegt werden, in welchem die bewegten Körper, die in dem Maskierungungültigkeitsbereich angeordnet sind, dem Bewegungsmuster entsprechen, und die Bildbereiche der bewegten Körper in einem Fall als Ziele der Maskierungsverarbeitung festgelegt werden, in welchem die bewegten Körper, die in dem Maskierungungültigkeitsbereich angeordnet sind, dem Bewegungsmuster nicht entsprechen, in dem Verarbeitungszielauswähler 32 durchgeführt. Als ein Ergebnis hiervon ist es sogar dann, wenn ein Bildbereich eines bewegten Objektes zu einem Zustand wechselt, in dem er sich über sowohl den Maskierungungültigkeitsbereich als auch den Maskierunggültigkeitsbereich erstreckt, möglich, ein Auswahlergebnis fortzusetzen, ob dieser als ein Ziel der Maskierungsverarbeitung festzulegen ist oder nicht.
Eine Verarbeitung, die ein Ausgabevideo erzeugt und ausgibt, in welchem die Maskierungsverarbeitung, die Bildbereiche bewegter Körper in Maskenbilder auf der Basis von Positionsinformation der Bildbereiche bewegter Körper, die durch den Bewegtobjektdetektor 31 erlangt werden ändert und Zielauswahlinformation, die durch den Verarbeitungszielauswähler 32 erlangt wird, verarbeitet, implementiert ist, wird in der Videoausgabesteuerung 26 durchgeführt.
In der Videoausgabesteuerung 26 wird zunächst eine Verarbeitung durchgeführt, die Maskenbilder erzeugt, die Umrisse entsprechend den Bildbereichen bewegter Körper, die als Ziele der Maskierungsverarbeitung festgelegt sind, auf der Basis von Positionsinformation und Verarbeitungszielauswahlinformation der Bildbereiche der bewegten Körper haben. In dieser Verarbeitung wird Information betreffend die Umrisse der Bildbereiche der bewegten Körper aus der Positionsinformation der Bildbereiche der bewegten Körper erzeugt und Maskenbilder, in welchen innere Teile der Umrisse mit einer vorbestimmen Farbe (beispielsweise blau) gefüllt werden, werden auf der Basis der Information betreffend die Umrisse erzeugt. Daran nachfolgend wird eine Verarbeitung, welche die Maskenbilder auf das durch den Hintergrundbilderzeuger 25 erzeugte Hintergrundbild überlagert und Maskierungsverarbeitungsvideo erzeugt durchgeführt. Zusätzlich können die Maskenbilder auf das Hintergrundbild in einem durchscheinenden Zustand überlagert werden und somit kann in diesem Fall ein Zustand, in welchem das Hintergrundbild durch die Maskenbilder in dem Maskierungsverarbeitungsvideo durchgesehen werden kann, erlangt werden.
Zusätzlich wird eine Verarbeitung, die die Bildbereiche der bewegten Körper, die nicht als Ziele der Maskierungsverarbeitung festgelegt sind, aus Video des Überwachungsbereiches, das von dem Videoerlanger 23 ausgegeben wird, auf der Basis der Positionsinformation und der Verarbeitungszielauswahlinformation der Bildbereiche der bewegten Körper ausschneidet und die Bilder der bewegten Körper über das Hintergrundbild überlagert, in der Videoausgabesteuerung 26 durchgeführt.
Die Schnittstelle 29 ist eine Komponente, die eine Kommunikation von Informationen zwischen dem PC 3, dem Recorder 2 und Ähnlichem über ein LAN durchführt, das Maskierungsverarbeitungsvideo, das von der Videoausgabesteuerung 26 ausgegeben wird, wird an den PC 3 über die Schnittstelle 29 übertragen und es ist möglich, das Maskierungsverarbeitungsvideo durch Verwenden des PC 3 zu inspizieren und zusätzlich wird das Maskierungsverarbeitungsvideo, das von der Videoausgabesteuerung 26 ausgegeben wird, über die Schnittstelle 29 an den Recorder 2 übertragen und das Maskierungsverarbeitungsvideo wird in dem Recorder 2 gesammelt.
Als Nächstes wird ein Überwachungsbildschirm zum Überprüfen des Transportzustands der Pakete, die Überwachungsziele sind, beschrieben. 6 ist eine erläuternde Ansicht, die einen auf dem Monitor 4 angezeigten Überwachungsbildschirm zeigt.
Der Überwachungsbildschirm ist ein Bildschirm, den ein Nutzer inspiziert, um den Transportzustand der Pakete durch das Förderband in der Werkhalle zu überprüfen, die dem Überwachungsbereich in einem Verteilzentrum entspricht, und ein Einrichtungsauswahlteil 41, ein Anfangsknopf 42, ein Einstellungsknopf 43, ein Betriebsmodusauswahlteil 44, ein Datums- und Zeitanzeigeteil 45, ein Datums- und Zeiteinstellungsknopf 46, ein Wiedergabebedienungsteil 47, ein Videoanzeigeteil 48 und ein Anzeigezeitbedienungsteil 49 werden auf dem Überwachungsbildschirm bereitgestellt.
In dem Einrichtungsauswahlteil 41 wählt ein Nutzer eine Einrichtung (ein Verteilzentrum) durch Verwenden eines Pull-down-Menüs aus. Der Anfangsknopf 42 ist ein Knopf, der einen Überwachungsvorgang durch Verwenden der Kamera 1 startet. Der Einstellungsknopf 43 ist ein Knopf, der verschiedene Bedingungen des Überwachungsvorgangs festlegt und in der vorliegenden beispielhaften Ausführungsform wird ein Menübildschirm (nicht in den Figuren illustriert) als ein Pop-up als ein Ergebnis der Bedienung des Einstellungsknopfes 43 angezeigt und wenn ein Menü der Maskierungungungültigkeitsbereichseinstellungen oder Bewegungsmustereinstellungen auf dem Menübildschirm ausgewählt wird, wird der Maskierungungültigkeitsbereicheinstellungsbildschirm (vgl. 7) oder ein Bewegungsmustereinstellungsbildschirm (vgl. 8A und 8B) angezeigt. Der Betriebsmodusauswahlteil 44 ist ein Teil, in welchem ein Betriebsmodus ausgewählt wird, verschiedene Betriebsmodi vorbereitet werden und der in 6 gezeigte Überwachungsbildschirm als ein Ergebnis der Auswahl der Überwachung angezeigt wird.
Der Datums- und Zeitanzeigeteil 45 ist ein Teil, in welchem das Datum und die Zeit angezeigt werden und der Datums- und Zeiteinstellungsknopf 46 ist ein Knopf zum Einstellen des Datums und der Zeit, wobei ein Datums- und Zeiteinstellungsbildschirm, der in den Figuren nicht illustriert ist, dann angezeigt wird, wenn der Datums- und Zeiteinstellungsknopf 46 betätigt wird, ein ausgewähltes Datum und ausgewählte Zeit werden in dem Datums- und Zeitanzeigeteil 45 als ein Ergebnis der Auswahl eines Datums und einer Zeit auf dem Datums- und Zeiteinstellungsbildschirm angezeigt und zusätzlich wird Video des ausgewählten Datums und Zeitpunkts in dem Videoanzeigeteil 48 angezeigt.
Ausgabevideo (ein bewegtes Bild), das durch die Videoausgabesteuerung 26 erzeugt wird, wird in dem Videoanzeigeteil 48 angezeigt. In dem in 6 gezeigten Beispiel ist ein Zustand, in welchem Pakete durch ein in einer Werkhalle, die einem Überwachungsbereich entspricht, installiertes Förderband transportiert werden in dem Video gezeigt, Personen (Arbeiter), die Arbeiten wie beispielsweise Sortieren und Überprüfen der Transportzustände der Pakete durchführen, sind in der Umgebung der Pakete sichtbar und die Maskierungsverarbeitung wird auf den Personen durchgeführt, aber die Maskierungsverarbeitung wird nicht auf den Paketen und dem Förderband durchgeführt. Zusätzlich ist der Maskierungungültigkeitsbereich in dem Videoanzeigeteil 48 in den Bildbereichen der Pakete und des Förderbandes angezeigt.
Zusätzlich können ein Maskierungsmodus, der Maskierungsverarbeitungsvideo, auf welchem die Maskierungsverarbeitung auf den Personen wie in 6 gezeigt durchgeführt wurde, anzeigt und ein Maskierungsaufhebungsmodus, der unverarbeitetes Video, das von dem Abbildungsteil 21 ausgegebenen wird, ohne Verändern anzeigt, vorbereitet werden und ein Nutzer kann einen der Modi wie gewünscht auswählen. In diesem Fall ist es möglich, einen Schutz der Privatsphäre der Personen zu erreichen, wenn der Maskierungsmodus als ein Anfangszustand festgelegt ist und es festgelegt ist, dass eine Auswahl des Maskierungsaufhebungsmodus nur in einem Fall eines Nutzers, der die Berechtigung zum Untersuchen unverarbeiteten Videos hat, durch Verwenden von Nutzerberechtigungen erlaubt ist.
Der Wiedergabebedienungsteil 47 ist ein Teil zum Durchführen einer Bedienung, die die Wiedergabe des in dem Videoanzeigeteil 48 angezeigten Videos betrifft, verschiedene Bedienungsknöpfe zur normalen Wiedergabe, schnellen Vorwärtswiedergabe, Rückwärtswiedergabe und zum Anhalten werden bereitgestellt und es ist möglich, Video, das eine lange Zeitdauer überspannt, effektiv durch Bedienen der Bedienungsknöpfe zu inspizieren.
Der Anzeigezeitbedienungsteil 49 ist ein Teil zum Anpassen der Anzeigezeit des in dem Videoanzeigeteil 48 angezeigten Videos und es ist möglich auf Video einer gewünschten Zeit durch Bedienungsknöpfe des Anzeigezeitbedienungsteils 49 zu wechseln. Insbesondere wenn ein Gleiter 50 unter Verwendung einer Eingabevorrichtung 6, wie beispielsweise einer Maus, verschoben wird, wird Video einer durch den Gleiter 50 angezeigten Zeit auf dem Videoanzeigeteil 48 angezeigt. Als Ergebnis hiervon ist es möglich, den Zustand eines Arbeitsbereiches zu einer benötigten Zeit unter Verwendung des Videos des Videoanzeigeteils 48 zu überprüfen.
Zusätzlich gibt es auf dem Überwachungsbildschirm einen Echtzeitbildschirm, der durch den Abbildungsteil 21 abgebildetes Video auf dem Videoanzeigeteil 48 in Echtzeit anzeigt und einen aufgezeichneten Bildschirm, der in dem Videospeicher 22 gesammeltes Video wiedergibt, und der Wiedergabebedienungsteil 47 wird auf dem aufgezeichneten Bildschirm verwendet aber kann auf dem Echtzeitbildschirm nicht bedient werden. Zusätzlich ist es in dem Anzeigezeitbedienungsteil 49 möglich, zu dem aufgezeichneten Bildschirm durch Anpassen der Anzeigezeit des Videos auf dem Echtzeitbildschirm zu wechseln, um in die Vergangenheit zurückzugehen.
Als Nächstes wird die Bearbeitung zum Festlegen des Maskierungungültigkeitsbereiches beschrieben. 7 ist eine erläuternde Ansicht, die einen Maskierungungültigkeitsbereichfestlegungsbildschirm, der auf dem Monitor 4 angezeigt wird, zeigt.
Der Maskierungungültigkeitsbereichfestlegungsbildschirm ist ein Bildschirm, auf welchem ein Nutzer den Maskierungungültigkeitsbereich, in welchem die Maskierungsverarbeitung nicht implementiert ist, in Video des Überwachungsbereiches angibt, und ein Videoanzeigeteil 61 sowie ein Bestätigungsknopf 62 werden auf dem Maskierungungültigkeitsbereichfestlegungsbildschirm bereitgestellt. Video des Überwachungsbereiches wird in dem Videoanzeigeteil 61 angezeigt und es ist möglich, den Maskierungungültigkeitsbereich in dem in dem Videoanzeigeteil 61 angezeigten Video unter Verwendung der Eingabevorrichtung 6, wie beispielsweise einer Maus, zu bestimmen. Wenn der Maskierungungültigkeitsbereich bestimmt ist und der Bestätigungsknopf 62 in dem Videoanzeigeteil 61 bedient wird, wird eine Verarbeitung zum Festlegung des Maskierungungültigkeitsbereiches unter Verwendung des bestimmten Inhaltes durch den Maskierungungültigkeitsbereichfestleger 27 durchgeführt.
In der vorliegenden beispielhaften Ausführungsform ist, da die Pakete die Überwachungsziele sind, der Maskierungungültigkeitsbereich auf die Bildbereiche des Förderbandes und der Pakete bestimmt, um einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung auf den Paketen durchgeführt wird.
Insbesondere führt ein Nutzer eine Bedienung (beispielsweise eine Klickbedienung einer Maus) durch, die eine Vielzahl von Punkten, die den Maskierungungültigkeitsbereich festsetzen, unter Verwendung der Eingabevorrichtung 6, wie beispielsweise einer Maus, eingibt und der Maskierungungültigkeitsbereich wird bestimmt, um die in einem solchen Beispiel eingegebenen Punkte zu verbinden. In dem in 7 gezeigten Beispiel ist der Maskierungungültigkeitsbereich als ein Trapez festgelegt und vier Aufpunkte des Maskierungungültigkeitsbereiches sind bestimmt, aber die Form des Maskierungungültigkeitsbereiches ist nicht auf diese Konfiguration beschränkt und kann ein Polygon, das von einem Trapez verschieden ist, ein Kreis oder Ähnliches sein.
Als Nächstes wird die Bedienung zum Festlegen des Bewegungsmusters beschrieben. 8A und 8B sind erläuternde Ansichten, die einen auf dem Monitor 4 angezeigten Bewegungsmustereinstellungsbildschirm zeigen.
Der Bewegungsmustereinstellungsbildschirm ist ein Bildschirm, auf welchem ein Nutzer die Positionen von in Video des Überwachungsbereiches sichtbaren Paketen festlegt, um die Bewegungsmuster der Pakete, die Überwachungszielen entsprechen, festzulegen, und ein Videoanzeigeteil 71, ein Wiedergabebedienungsteil 72, ein Messungsanfangspositionseinstellungsknopf 73, ein Messungsendpositionseinstellungsknopf 74 und ein Bestätigungsknopf 75 werden auf dem Video eines gewünschten Zustandes durch Bedienen des Wiedergabebedienungsteils 72 anzuzeigen.
In der vorliegenden beispielhaften Ausführungsform werden die Bewegungsgeschwindigkeit und die Bewegungsrichtung der Pakete als das Bewegungsmuster der Pakete festgelegt und die Bewegungsgeschwindigkeit und die Bewegungsrichtung der Pakete werden aus Positionen (einer Messungsanfangsposition und einer Messungsendposition) der Pakete bestimmt, die durch einen Nutzer im Video eines anderen Zeitpunktes festgelegt sind. Zusätzlich sind die Bewegungsgeschwindigkeit und die Bewegungsrichtung der auf dem Förderband transportierten Pakete fixiert und wenn die Bewegungsgeschwindigkeit und die Bewegungsrichtung eines Paketes von Interesse erlangt wird, kann die Bewegungsgeschwindigkeit und die Bewegungsrichtung auf alle der Pakete und auf das Förderband angewandt werden.
Insbesondere wird, wie in 8A gezeigt, der Wiedergabebedienungsteil 72 bedient, Video, in welchem ein Paket von Interesse auf einer vergleichsweise stormaufwärtigen Seite des Förderbandes positioniert ist, angezeigt, ein Nutzer führt eine Bedienung (beispielsweise eine Klickbedienung einer Maus), welche das Paket von Interesse auswählt, unter Verwendung der Eingabevorrichtung 6, wie beispielsweise einer Maus, durch, und die Messungsanfangsposition wird festgelegt, wenn der Messungsanfangspositioneinstellknopf 73 betätigt wird. Als Nächstes, wie in 8B gezeigt, wird der Wiedergabebedienungsteil 74 betätigt, Video in welchem in Paket von Interesse auf einer vergleichsweise stormabwärtigen Seite des Förderbandes positioniert ist wird angezeigt, ein Nutzer führt eine Bedienung (beispielsweise eine Klickbedienung einer Maus), welche das Paket vom Interesse auswählt, unter Verwendung der Eingabevorrichtung 6 wie beispielsweise einer Maus durch und die Messungsendposition wird festgelegt, wenn der Messungsendpositionseinstellknopf 74 betätigt wird. Zusätzlich wird eine Fotografierzeit des Videos, wenn die Messungsanfangsposition festgelegt wird, als eine Messanfangszeit festgelegt und eine Fotografierzeit des Videos, wenn die Messungsendposition festgelegt wird, wird als eine Messendzeit festgelegt.
Auf diese Weise wird, wenn die Messungsanfangsposition und die Messungsendposition festgelegt sind, eine Verarbeitung, die die Bewegungsgeschwindigkeit und die Bewegungsrichtung der Pakete auf der Basis der Positionen erlangt, durch den Bewegungsmusterfestleger 28 durchgeführt. Insbesondere ist es möglich, die Bewegungsgeschwindigkeit aus dem Intervall zwischen der Messungsanfangsposition und der Messungsendposition zu bestimmen; das heißt, einer Bewegungsentfernung der Pakete und der verstrichenen Zeit zwischen der Messanfangszeit zu der Messendzeit. Zusätzlich ist es möglich, die Bewegungsrichtung aus einer Positionsbeziehung zwischen der Messungsanfangsposition und der Messungsendposition zu bestimmen.
Zusätzlich werden kreisförmige Bilder, welche die Messungsanfangsposition und die Messungsendposition darstellen, in dem Videoanzeigeteil 71 angezeigt und zusätzlich wird ein Pfeilbild auf eine Weise angezeigt, die die Messanfangspositon und die Messungsendposition verbindet.
Auf die oben beschriebene Weise wird in der vorliegenden beispielhaften Ausführungsform der Maskierungungültigkeitsbereich in Video des Überwachungsbereiches gemäß einer Bedienungseingabe eines Nutzers in dem Maskierungungültigkeitfestleger 27 festgelegt, bewegte Körper werden aus dem Video des Überwachungsbereichs detektiert und Bereichsinformationen wird für jedes bewegte Objekt in dem Bewegtobjektdetektor 31 erlangt, und eine Auswahl ob die Bildbereiche der bewegten Körper, die durch den Bewegtobjektdetektor 31 detektiert wurden, festzulegen sind oder nicht, wird in dem Verarbeitungszielauswähler 32 in Übereinstimmung damit durchgeführt, ob die Bildbereiche in dem Maskierungungültigkeitsbereich angeordnet sind oder nicht; das heißt, ein Bildbereich eines bewegten Objektes wird nicht als ein Ziel der Maskierungsverarbeitung in einem Fall festgelegt, in welchem der Bildbereich des bewegten Objektes in dem Maskierungungültigkeitsbereich angeordnet ist, und ein Bildbereich eines bewegten Objektes wird als ein Ziel der Maskierungsverarbeitung in einem Fall festgelegt, in welchem der Bildbereich des bewegten Objektes in von dem Maskierungungültigkeitsbereich verschiedenen Bereichen (Maskierunggültigkeitsbereichen) angeordnet ist. Weiter werden in der Videoausgabesteuerung 26 nur Bildbereiche bewegter Körper, die durch den Verarbeitungszielauswähler 32 als Ziele der Maskierungsverarbeitung festgelegt sind, als Ziele festgelegt und ein Ausgabevideo, auf welchem die Maskierungsverarbeitung implementiert ist, wird erzeugt und ausgegeben.
Gemäß dieser Konfiguration ist eine Maskierungsverarbeitung auf Bildbereichen bewegter Körper implementiert, die in einem Maskierungungültigkeitsbereich angeordnet sind, und die Maskierungsverarbeitung ist auf Bildbereichen bewegter Körper nicht implementiert, die in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich (einem Maskierunggültigkeitsbereich) angeordnet sind. Somit wird, durch Festlegen eines Maskierungungültigkeitsbereiches auf einen Bereich, in welchem sich ein einem Überwachungsziel entsprechendes Objekt befindet, ein Zustand erlangt, in welchem die Maskierungsverarbeitung in einem Bildbereich einer Person implementiert ist und die Maskierungsverarbeitung in einem Bildbereich eines einem Überwachungsziel entsprechenden Objektes nicht implementiert ist, und es ist möglich, den Zustand des einem Überwachungsziel entsprechenden Objektes angemessen zu überprüfen, während die Privatsphäre von Personen geschützt wird. Zusätzlich kann, aus einem Standpunkt des relativen Erreichens von Schutz der Privatsphäre der Personen, der Maskierungungültigkeitsbereich so schmal wie möglich innerhalb eines Bereiches festgelegt werden, der das Überwachen nicht behindert.
Zusätzlich wird in der vorliegenden beispielhaften Ausführungsform ein Bewegungsmuster eines vorbestimmten bewegten Objektes in Übereinstimmung mit einer Bedienungseingabe eines Nutzers in dem Bewegungsmusterfestleger 28 festgelegt und ein Auswählen ob die Bildbereiche der bewegten Körper, die in dem Maskierungungültigkeitsbereich angeordnet sind, festzulegen sind oder nicht, wird in dem Verarbeitungszielauswähler 32 in Übereinstimmung damit durchgeführt, ob die bewegten Körper dem Bewegungsmuster entsprechen oder nicht; das heißt, dass ein Bildbereich eines bewegten Objektes nicht als ein Ziel der Maskierungsverabeitung in einem Fall festgelegt wird, in welchem das bewegte Objekt dem Bewegungsmuster entspricht, und ein Bildbereich eines bewegten Objektes als ein Ziel der Maskierungsverarbeitung in einem Fall festgelegt wird, in welchem das bewegte Objekt dem Bewegungsmuster nicht entspricht. Gemäß dieser Konfiguration wird, nachdem ein einem Überwachungsziel entsprechendes Objekt einem im Vorhinein festgelegten Bewegungsmuster entspricht, ein Bildbereich des bewegten Objektes nicht als ein Ziel der Maskierungsverarbeitung festgelegt und somit ist es möglich, einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung auf dem einem Überwachungsziel entsprechenden Objekt durchgeführt wird. Weiter wird, da es nicht wahrscheinlich ist, dass eine Person eine dem Bewegungsmuster entsprechende Bewegung durchführt, ein Bildbereich einer Person als ein Ziel der Maskierungsverarbeitung festgelegt und somit ist es möglich, die Unannehmlichkeit zu vermeiden, dass der Bildbereich einer Person, die in dem Maskierungungültigkeitsbereich angeordnet ist, in einem Zustand angezeigt wird, in welchem die Maskierungsverarbeitung nicht durchgeführt wurde.
Insbesondere ist in der vorliegenden beispielhaften Ausführungsform das Bewegungsmuster durch die Bewegungsgeschwindigkeit und die Bewegungsrichtung der bewegten Körper bestimmt und als ein Ergebnis hiervon ist es möglich, eine Verarbeitung, die auswählt, ob die Bildbereiche der bewegten Körper als Ziele der Maskierungsverarbeitung festzulegen sind oder nicht, mit hoher Genauigkeit durchzuführen. Zusätzlich können die Bewegungsmuster durch entweder die Bewegungsgeschwindigkeit oder die Bewegungsrichtung der bewegten Körper definiert sein.
(ZWEITE BEISPIELHAFTE AUSFÜHRUNGSFORM)
Als Nächstes wird eine zweite beispielhafte Ausführungsform beschrieben. Zusätzlich sind Merkmale, auf die in dieser Instanz nicht ausdrücklich verwiesen wird, gleich denen der oben erwähnten beispielhaften Ausführungsform.
9A und 9B sind erläuternde Ansichten, die eine Zusammenfassung einer Überwachungsverarbeitung gemäß der zweiten beispielhaften Ausführungsform beschreiben. In der ersten beispielhaften Ausführungsform, wie in 4A gezeigt, wird eine Bedingung, ob bewegte Körper dem Bewegungsmuster der Pakete entsprechen, eingeführt und bewegte Körper, die den Zielen der Maskierungsverarbeitung entsprechen, werden ausgewählt, um die Unannehmlichkeit einer Anzeige in einem Zustand zu vermeiden, in welchem die Maskierungsverarbeitung auf einem Bildbereich einer Person, die den Maskierungungültigkeitsbereich betritt, nicht durchgeführt wurde, aber in der zweiten beispielhaften Ausführungsform wird bestimmt, ob ein bewegtes Objekt eine Person ist, als Person bestimmte bewegte Körper werden verfolgt, eine Verarbeitung, die ein bewegtes Objekt kontinuierlich als ein Ziel der Maskierungsverarbeitung festlegt, wird in einem Fall durchgeführt, in welchem das bewegte Objekt den Maskierungungültigkeitsbereich betritt und als ein Ergebnis hiervon, auf ähnliche Weise zu dem der ersten beispielhaften Ausführungsform, ist es möglich, die Unannehmlichkeit einer Anzeige in einem Zustand zu vermeiden, in welchem die Maskierungsverarbeitung auf einem Bildbereich einer Person, die den Maskierungungülitigkeitsbereich betritt, nicht durchgeführt wurde. Zusätzlich kann die Bestimmung der Personen für bewegte Körper, auf die in dieser Instanz verwiesen wird, durch eine Personenerkennung oder einen Gesichtserkennungsalgorithmus, der öffentlich bekannte Personen oder Gesichtseigenschaften verwendet, realisiert werden.
Insbesondere werden, wie in 9A gezeigt, alle bewegten Körper (Personen A bis C), die in von dem Maskierungungültigkeitsbereich verschiedenen Bereichen (Maskierunggültigkeitsbereichen) erscheinen, als Ziele der Maskierungsverarbeitung festgelegt und die Maskierungsverarbeitung wird auf allen diesen bewegten Körpern ausgeführt. Zusätzlich wird eine Verarbeitung, die die bewegten Körper, die in dem Maskierunggültigkeitsbereich erscheinen, als Ziele davon festgelegt und bestimmt, ob die bewegten Körper Person sind oder nicht, durchgeführt und eine Verfolgung wird für bewegte Körper begonnen, die als Personen bestimmt wurden. Weiter, wie in 9B gezeigt, wird sogar wenn ein bewegtes Objekt (die Person C), die als eine Person bestimmt ist, während der Verfolgung den Maskierungungültigkeitsbereich betritt, das bewegte Objekt kontinuierlich als ein Ziel der Maskierungsverarbeitung festgelegt und ein Zustand, in welchem die Maskierungsverarbeitung ausgeführt wird, wird aufrechterhalten.
Als Nächstes wird eine schematische Konfiguration der Kamera 1 gemäß der zweiten beispielhaften Ausführungsform beschrieben. 10 ist ein funktionales Blockdiagramm, das eine schematische Konfiguration der Kamera 1 zeigt.
Der Bildanalysierer 24 der Kamera 1 ist mit dem Bewegtobjektdetekor 31 und dem Verarbeitungszielauswähler 32 auf die gleiche Weise wie in der ersten beispielhaften Ausführungsform bereitgestellt, aber in der zweiten beispielhaften Ausführungsform weist der Bildanalysierer 24 weiter einen Personenbestimmungsteil 33 und einen Bewegtobjektverfolungsteil 34 auf.
Eine Verarbeitung, die bewegte Körper aus Video des Überwachungsbereiches detektiert, wird in dem Bewegtobjektdetektor 31 durchgeführt. Eine Verarbeitung, die, unter bewegten Körpern, die durch den Bewegtobjektdetektor 31 detektiert wurden, bewegte Körper, die in dem Maskierunggültigkeitsbereich angeordnet sind, als Ziele davon festlegt und bestimmt, ob die bewegten Körper Personen sind oder nicht, wird in dem Personenbestimmungsteil 33 durchgeführt. Eine Verarbeitung, die bewegte Körper, die durch den Personenbestimmungsteil 33 bestimmt wurden, Personen zu sein, nachverfolgt, wird in dem Bewegtobjektverfolgungsteil 34 durchgeführt. Eine Verarbeitung, die kontinuierlich ein bewegtes Objekt als ein Ziel der Maskierungsverarbeitung festlegt, wenn das bewegte Objekt, welches eine in dem Maskierungungültigkeitsbereich angeordnete Person ist, den Maskierungungültigkeitsbereich betritt; das heißt, wenn ein Zustand detektiert wird, in welchem wenigstens ein Teil der Bildbereiche des bewegtes Objektes sich mit dem Maskierungungültigkeitsbereich überlappt, wird in dem Verarbeitungszielauswähler 32 durchgeführt.
Zusätzlich können die von dem Personenbestimmungsteil 33 und dem Bewegtobjektverfolungsteil 34 durchgeführten Verarbeitungen nur in einem Fall implementiert sein, in welchem sich ein bewegtes Objekt dem Maskierungungültigkeitsbereich nähert, oder spezifischer, in einem Fall, in welchem der Abstand von dem bewegten Objekt zu dem Maskierungungültigkeitsbereich geringer als ein vorbestimmter Schwellwert wird. Zusätzlich kann, da es nicht notwendigerweise möglich ist, ein hochgenaues Ergebnis in den von dem Bewegtobjektdetektor 31 und dem Personenbestimmungsteil 33 durchgeführten Verarbeitungen zu erwarten, die Bewegtobjektverfolgungsverarbeitung des Bewegtobjektverfolungsteils 34 auf der Basis von Frequenzinformation in einer Zeitreihe begonnen werden, die aus Detektionsergebnissen und Bestimmungsergebnissen, die eine Vielzahl von Bildern überspannen, als eine Gegenmaßnahme gegen Nicht-Detektion und fehlerhafte Bestimmung erhalten wird.
Auf diese Weise werden in der vorliegenden beispielhaften Ausführungsform bewegte Körper, die durch den Bewegtobjektdetektor 31 detektiert werden, in dem Bewegtobjektverfolgungsteil 34 nachverfolgt und in dem Verarbeitungszielauswähler 32 werden die Bildbereiche des bewegten Objektes in einem Fall, in welchem ein in dem Maskierungungültigkeitsbereich angeordnetes bewegtes Objekt, das den Maskierungungültigkeitsbereich betritt, nachdem es in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich in Erscheinung getreten ist, kontinuierlich als Ziele der Maskierungsverarbeitung festgelegt und da es eine hohe Wahrscheinlichkeit dafür gibt, dass ein bewegtes Objekt, das in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich (einem Maskierunggültigkeitsbereich) erscheint und den Maskierungungültigkeitsbereich betritt eine Person ist, ist es indem die Bildbereiche eines solchen bewegtes Objektes als ein Ziel der Maskierungsverarbeitung festgelegt werden möglich, die Unannehmlichkeit der Anzeige in einem Zustand zu vermeiden, in welchem die Maskierungsverarbeitung auf einem Bildbereich einer in dem Maskierungungültigkeitsbereich angeordneten Person nicht durchgeführt wurde.
Zusätzlich wird in der vorliegenden beispielhaften Ausführungsform in dem Personenbestimmungsteil 33 bestimmt, ob durch den Bewegtobjektdetektor 31 detektierte bewegte Körper Personen sind oder nicht, durch den Personenbestimmungsteil 33 als Personen bestimmte bewegte Körper werden in dem Bewegtobjektverfolgungsteil 34 nachverfolgt und als ein Ergebnis hiervon ist es, da nur bewegte Körper, die Personen sind, als Ziele der Maskierungsverarbeitung festgelegt werden, möglich, einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung unnötigerweise auf einem Bildbereich eines bewegtes Objektes, das keine Person ist, durchgeführt wird.
Als Nächstes wird eine Verarbeitung in einem Fall, in welchem sich eine Person und ein Paket in Video überlappen, in welchem sich die Person und das Paket in der Nähe zueinander befinden, beschrieben. 11A bis 11C sind erläuternde Ansichten, die eine Verarbeitung in einem Fall beschrieben, in welchem sich eine Person und ein Paket in Video überlappen, in welchem sich die Person und das Paket in Nähe zueinander befinden.
Wie in 11A gezeigt gibt es, wenn sich eine Person und ein Paket in Nähe zueinander befinden, Fälle, in welchem ein Zustand, in welchem sich die Person und das Paket in Video überlappen, einstellt. Zu dieser Zeit kann ein Zustand, in welchem die Maskierungsverarbeitung nur auf den Bildbereichen der Person durchgeführt wird, in einem Fall aufrechterhalten werden, in welchem es möglich ist, die Bildbereiche der Person von den Bildbereichen des Paketes zu trennen, aber es gibt Fälle, in welchen es nicht möglich ist, die Bildbereiche der Person von den Bildbereichen des Paketes zu trennen und in solchen Fällen gibt es keine Alternative dazu, die Person und das Paket als ein einziges bewegtes Objekt zu verarbeiten.
In solch einem Fall, wie in 11B gezeigt, wird ein bewegtes Objekt, in welchem die Person und das Paket integriert sind, als ein Ziel der Maskierungsverarbeitung festgelegt und die Maskierungsverarbeitung wird auf allen der Bildbereiche des bewegtes Objektes durchgeführt, das heißt, die Maskierungsverarbeitung wird auf sowohl der Person als auch dem Paket ausgeführt. Als ein Ergebnis hiervon ist es möglich, relativen Schutz der Privatsphäre der Person zu erreichen. Anschließend, wenn es möglich wird, die Bildbereich der Person von den Bildbereichen des Paketes zu trennen, kann nur die Person als ein Ziel der Maskierungsverarbeitung festgelegt werden und die Maskierungsverarbeitung kann auf den Bildbereichen der Person ausgeführt werden. In diesem Beispiel dauert, da die Personen sich selten bewegen, um die Pakete zu verfolgen, der Zustand, in welchem eine Person und ein Paket sich überlappen, keine lange Zeitdauer an und da ein Zustand, in welchem die Maskierungsverarbeitung auf den Bildbereichen eines Paketes durchgeführt wird, temporär ist, gibt es keine große Behinderung, wenn der Zustand des Paketes überprüft wird.
Zusätzlich kann die in 11B gezeigte Verarbeitung als ein Privatsphärenpriorisierungsmodus festgelegt werden und zusätzlich hierzu, wie in 11C gezeigt ist, kann ein Modus vorbereitet werden, in welchem bewegte Körper, in welchen eine Person und ein Paket integriert sind, nicht als Ziele der Maskierungsverarbeitung festgelegt werden die Maskierungsverarbeitung auf allen den Bildbereichen des bewegtes Objektes nicht durchgeführt wird; das heißt, in welchem die Maskierungsverarbeitung auf der Person sowie auf dem Paket nicht durchgeführt wird, und ein Nutzer kann in der Lage sein, den angemessenen Modus auszuwählen. In diesem Fall ist es möglich, einen Schutz der Privatsphäre der Person zu erreichen, wenn der Privatsphärenpriorisierungsmodus als ein Anfangszustand festgelegt ist und es derart festgelegt ist, dass ein Ändern des Modus nur in einem Fall eines Nutzers, der die Berechtigung zum Inspizieren unverarbeiteten Videos hat, durch Verwenden von Nutzerberechtigungen erlaubt ist.
Als Nächstes wird eine Verarbeitung, die einen Zustand detektiert, in welchem sich eine Person und ein Paket überlappen, beschrieben. 12 ist eine erläuternde Ansicht, die eine Verarbeitung beschreibt, die einen Zustand detektiert, in welchem sich eine Person und ein Paket überlappen.
Wie in 11A bis 11C gezeigt ist, wird dann, wenn eine Verarbeitung in einem Fall durchgeführt wird, in welchem sich eine Person und ein Paket überlappen, eine Verarbeitung, die einen Zustand detektiert, in welchem sich eine Person und ein Paket überlappen, notwendig. In der Detektionsverarbeitung, wie in 12 gezeigt, kann ein rechteckiger Bewegtobjektrahmen, welcher die Bildbereiche eines bewegtes Objektes umgibt, festgelegt werden und ein Detektieren eines Zustandes, in welchem sich eine Person und ein Paket überlappen, kann auf der Basis der Größe des Bewegtobjektrahmes durchgeführt werden. Das heißt, wenn ein Zustand, in welchem sich eine Person und ein Paket in Video überlappen, eintritt und die Person und das Paket als ein einzelnes Bewegtobjekt erkannt werden, verändert sich die Größe des Bewegtobjektrahmes deutlich und es ist möglich, einen Zustand, in welchem sich eine Person und ein Paket überlappen, als ein Ergebnis der Veränderung der Größe des Bewegtobjektrahmes zu detektieren.
Als Nächstes wird ein weiteres Beispiel einer Verarbeitung in einem Fall, in welchem sich eine Person und ein Paket in Video, in welchem sich die Person und das Paket in Nähe zueinander befinden, überlappen, beschrieben. 13 ist eine erläuternde Ansicht, die ein weiteres Bespiel einer Verarbeitung in einem Fall beschreibt, in welchem sich eine Person und ein Paket in Video, in welchem sich die Person und das Paket in Nähe zueinander befinden, überlappen.
Wenn ein bewegtes Objekt in Video des Überwachungsbereiches detektiert wird, wird ein Personenrahmen, welcher eine angemessene Stelle (beispielsweise die obere Hälfte des Körpers oder einen Kopfteil) einer Person umgibt, festgelegt, und die Maskierungsverarbeitung wird auf dem Personenrahmen ausgeführt. Das heißt, in einem Fall, in dem es möglich ist, die Bildbereiche einer Person von den Bildbereichen eines Paketes zu trennen, wird die Maskierungsverarbeitung auf allen den Bildbereichen der Person ausgeführt und in einem Fall, in welchem es nicht möglich ist, die Bildbereiche einer Person von den Bildbereichen eines Paketes zu trennen, werden, in den Bildbereichen eines bewegten Objektes, in welchem die Person und das Paket integriert sind, Bereiche, für welche es eine hohe Wahrscheinlichkeit dafür gibt, dass sie Bildbereiche einer Person sind, aus einem Zustand eines unmittelbar vorhergehenden Personenrahmens mit einer dem Personenrahmen ähnlichen Größe extrahiert und die Maskierungsverarbeitung wird auf den Bereichen ausgeführt.
(DRITTE BEISPIELHAFTE AUSFÜHRUNG)
Als Nächstes wird eine dritte beispielhafte Ausführungsform beschrieben. Zusätzlich sind Merkmale, auf die in diesem Beispiel nicht ausdrücklichen verwiesen wird, gleich denen der oben erwähnten beispielhaften Ausführungsform.
14 ist eine erläuternde Ansicht, die eine Zusammenfassung einer Überwachungsverarbeitung gemäß der dritten beispielhaften Ausführungsform beschreibt. In der ersten beispielhaften Ausführungsform werden Personen und Pakete auf der Basis eines Bewegungsmusters identifiziert, aber in der dritten beispielhaften Ausführungsform wird eine Verarbeitung, die ein festes Bild (beispielsweise einen Barcode oder Ähnliches), der auf einem Etikett (beispielsweise ein Lieferschein oder ähnliches), der an einem Paket befestigt ist, illustriert ist, detektiert, in Bildbereichen bewegter Körper durchgeführt und wenn ein festes Bild in einem Bildbereich eines bewegten Objektes detektiert wird, wird das bewegte Objekt als ein Paket bestimmt und nicht als ein Ziel der Maskierungsverarbeitung festgelegt.
Auf diese Weise werden in der vorliegenden beispielhaften Ausführungsform, wenn ein festes Bild, das ein vorbestimmtes bewegtes Objekt darstellt, in einem Bildbereich eines in dem Maskierungungültigkeitsbereich angeordneten bewegten Objektes detektiert wird, die Bildbereiche des bewegten Objektes nicht als Ziel der Maskierungsverarbeitung in dem Verarbeitungszielausauswähler 32 ausgewählt. Gemäß dieser Konfiguration ist es, da ein Bildbereich eines einem Überwachungsziel entsprechenden Objektes nicht als ein Ziel der Maskierungsverarbeitung aufgrund der Detektion eines festen Bildes festgelegt wird, möglich, einen Umstand zu vermeiden, in welchem die Maskierungsverarbeitung auf dem einem Überwachungsziel entsprechenden Objekt durchgeführt wird. Weiter wird, da ein festes Bild in einem Bildbereich einer Person nicht detektiert wird, ein Bildbereich einer Person als ein Ziel der Maskierungsverarbeitung festgelegt, und somit ist es möglich, die Unannehmlichkeit zu vermeiden, dass der Bildbereich einer in dem Maskierungungültigkeitsbereich angeordneten Person in einem Zustand angezeigt wird, in welchem die Maskierungsverarbeitung nicht durchgeführt wurde.
(VIERTE BEISPIELHAFTE AUSFÜHRUNGSFORM)
Als Nächstes wird eine vierte beispielhafte Ausführungsform beschrieben. Zusätzlich sind Merkmale, auf die in diesem Beispiel nicht ausdrücklich verwiesen wird, gleich denen der oben erwähnten beispielhaften Ausführungsform.
15 ist ein funktionales Blockdiagramm, das eine schematische Konfiguration von Kamera 101 und PC 102 in der vierten beispielhaften Ausführungsform zeigt. In der vierten beispielhaften Ausführungsform sind der Videoerlanger 23, der Bildanalysierer 24, der Hintergrundbilderzeuger 25, die Videoausgabesteuerung 26, der Maskierungungültigkeitsbereichsfestleger 27 und der Bewegungsmusterfestleger 28, die in der Kamera 1 der ersten beispielhaften Ausführungsform bereitgestellt sind, in dem PC 102 bereitgestellt.
Der Abbildungsteil 21 ist in der Kamera 101 bereitgestellt und das Video des in der Kamera 101 abgebildeten Überwachungsbereiches wird an den PC 102 über eine Schnittstelle 29 übertragen. Zusätzlich wird ein von dem Abbildungsteil 21 ausgegebenes Video an den Recorder 2 über die Schnittstelle 29 übertragen und das Video wird in dem Recorder 2 gesammelt.
In dem Videoerlanger 23 des PC 102 wird Video des Überwachungsbereiches von der Kamera 101 oder dem Recorder 2 über eine Schnittstelle 81 erlangt. Zusätzlich wird in dem Maskierungungültigkeitsbereichfestleger 27 und dem Bewegungsmusterfestleger 28 eine Verarbeitung durchgeführt, die von einer Bedienungseingabe eines Nutzers abhängige Eingabeinformationen, die unter Verwendung der Eingabevorrichtung 6 durchgeführt wird, über eine Eingabe/Ausgabesteuerung 82 erlangt und den Maskierungungültigkeitsbereich und das Bewegungsmuster auf der Basis der Eingabeinformation festlegt. Die in dem Bildanalysierer 24, dem Hintergrundbilderzeuger 25 und der Videoausgabesteuerung 26 durchgeführten Verarbeitungen sind gleich denen der ersten beispielhaften Ausführungsform.
Zusätzlich wird jeder Teil des in 15 gezeigten PC 102 dadurch realisiert, dass ein Prozessor (eine CPU) des PC 102 verursacht wird, Überwachungsprogramme (Anweisungen), die in einem Speicher wie beispielsweise einer Festplatte (HDD) gespeichert sind, auszuführen. Zusätzlich dazu, dass die Programme in den PC 102 als eine Informationsverarbeitungsvorrichtung eingeführt werden und dedizierte Vorrichtungen konfigurieren, können sie auf einem geeigneten Programmaufzeichnungsmedium als Anwendungsprogramme gespeichert sein, die in einem vorbestimmten Betriebssystem betrieben werden und, zusätzlich, können sie einem Nutzer über ein Netzwerk bereitgestellt werden.
Die vorliegende Offenbarung wurde oben auf der Basis spezifischer beispielhafter Ausführungsformen beschrieben, aber die beispielhaften Ausführungsformen sind lediglich illustrierende Beispiele und die vorliegende Offenbarung ist nicht durch die beispielhaften Ausführungsformen beschränkt. Zusätzlich sind nicht alle der konstituierenden Elemente der Überwachungsvorrichtung und des Überwachungsverfahrens gemäß der vorliegenden Offenbarung, die in den oben erwähnten beispielhaften Ausführungsformen gezeigt sind, notwendigerweise essenziell und können in angemessener Weise innerhalb eine Rahmens, der zumindest den Umfang der vorliegenden Offenbarung nicht verlässt, ausgewählt werden.
Beispielsweise wurde in den oben erwähnten beispielhaften Ausführungsformen eine Beschreibung unter Verwendung des Beispiels eines Verteilzentrums ausgeführt, aber die vorliegende Offenbarung ist nicht auf solch ein Verteilzentrum beschränkt und kann beispielsweise auf eine Fertigungsstraße einer Fabrik oder ähnliches angewandt werden. Insbesondere ist ein Fall, in welchem der Überwachungsbereich als ein Arbeitsbereich, in welchem Artikel durch eine Transportvorrichtung transportiert werden und durch die Transportvorrichtung transportierte Artikel als Überwachungsziele festgelegt werden, geeignet. In diesem Fall ist es ausreichend, die Bildbereiche der Artikel und der Transportvorrichtung im Video des Überwachungsbereiches als den Maskierungungültigkeitsbereich festzulegen.
Zusätzlich wird in den oben erwähnten beispielhaften Ausführungsformen Maskierungsverarbeitungsvideo, auf welchem die Maskierungsverarbeitung implementiert ist, von der Videoausgabesteuerung 26 der Kamera 1 ausgegeben, aber auch das ursprüngliche Video der Bildbereiche, die Zielen der Maskierungsverarbeitung entsprechen, kann gleichzeitig ausgegeben werden und die Maskierungsverarbeitung kann entweder teilweise oder vollständig gemäß der Bedienung durch Verwenden des PC 3 abgebrochen werden. Beispielsweise kann durch Durchführen einer Bedienung, die ein bewegtes Objekt auswählt, oder einer Bedienung, die einen Bereich in dem Video bestimmt, die Maskierungsverarbeitung des ausgewählten bewegten Objektes oder des bestimmten Bereiches abgebrochen werden. In diesem Fall ist es möglich, einen Schutz der Privatsphäre der Person zu erreichen, wenn festgelegt ist, dass ein Abbrechen der Maskierungsverarbeitung nur in einem Fall eines Nutzers, der die Berechtigung zum Inspizieren unverarbeiteten Video hat, durch Verwendung von Nutzerberechtigungen erlaubt ist.
Zusätzlich wird in den oben erwähnten beispielhaften Ausführungsformen das Maskierungsverarbeitungsvideo von der Kamera 1 ausgegeben und das Maskierungverarbeitungsvideo wird durch Verwenden des PC 3 inspiziert, aber auch ein unverarbeitetes Maskierungsverarbeitungvideo, auf welchem die Markierungsverarbeitung nicht implementiert ist, kann von der Kamera 1 ausgegeben werden. In diesem Fall ist es möglich, einen Schutz der Privatsphäre der Person zu erreichen, wenn ein Modus, der das Maskierungsverarbeitungsvideo ausgibt, als ein Anfangszustand festgelegt ist und festgelegt ist, dass die Ausgabe unverarbeiteten Videos nur in einem Fall eines Nutzers, der die Berechtigung zum Inspizieren unverarbeiteten Videos hat, durch Verwenden von Nutzerberechtigungen erlaubt ist.
Zusätzlich können sowohl das Maskierungsverarbeitungsvideo und unverarbeitetes Video von der Kamera 1 ausgegeben werden oder unverarbeitetes und Metainformationen (Positionsinformationen bewegter Körper und Informationen betreffend als Ziele der Maskierungsverarbeitung festgelegter Bildbereiche) können von der Kamera 1 ausgegeben werden und es kann auf dem PC 3 möglich sein, zwischen einem Modus, der das Maskierungsverarbeitungsvideo anzeigt, und einen Modus, der das unverarbeitete Video anzeigt, zu wechseln. In diesem Fall ist es auch möglich, den Schutz der Privatsphäre der Personen zu erreichen, wenn festgelegt ist, dass eine Anzeige des unverarbeiteten Videos nur in einem Fall eines Nutzers, der die Berechtigung zum Inspizieren unverarbeiteten Videos hat, durch Verwenden von Nutzerberechtigungen erlaubt ist.
In den oben erwähnten beispielhaften Ausführungsformen werden für die Überwachung benötigte Verarbeitungen durch die Kamera 1 und den PC 3, die in einer Einrichtung (einem Verteilzentrum) bereitgestellt sind, durchgeführt, aber wie in 1 gezeigt können die benötigten Verarbeitungen zusätzlich durch den PC 11, der in der Firmenzentrale bereitgestellt ist, oder den Cloud Computer 12, der ein Cloudrechensystem konfiguriert, durchgeführt werden. Zusätzlich können die benötigten Verarbeitungen von einer Vielzahl von Informationsverarbeitungsvorrichtungen geteilt werden und Informationen können zwischen der Vielzahl von Informationsverarbeitungsvorrichtungen über ein Kommunikationsmedium wie beispielsweise ein IP Netzwerk oder ein LAN geliefert werden. In diesem Fall ist ein Überwachungssystem durch eine Vielzahl von Informationsverarbeitungsvorrichtungen, die die benötigten Verarbeitungen teilen, konfiguriert.
Zusätzlich wird in den oben erwähnten beispielhaften Ausführungsformen die Beschreibung unter Verwendung eines Beispiels gegeben, in welchem PC 3 einer Einrichtung (eines Verteilzentrums), der mit der Kamera 1 und dem Recorder 2 über ein in der Einrichtung installiertes LAN verbunden ist, als eine Inspektionsvorrichtung, die Video eines Überwachungsbereiches (einer Werkhalle) inspiziert, festgelegt ist, aber, wie in 1 gezeigt, kann der PC 11 der Firmenzentrale mit der Kamera 1 und dem Recorder 2 über ein Netzwerk außerhalb der Einrichtung verbunden sein, das heißt, ein Weitbereichsnetzwerk wie beispielsweise ein WAN, und der PC 11 der Firmenzentrale kann als eine Inspektionsvorrichtung festgelegt werden und darüber hinaus kann auch ein tragbares Endgerät wie beispielsweise ein Smartphone 13 oder ein Tabletendgerät 14 als eine Inspektionsvorrichtung festgelegt werden und als Ergebnis hiervon kann es möglich sein, Video des Überwachungsbereiches an einem beliebigen Ort wie beispielsweise einem von der Einrichtung und der Firmenzentrale verschiedenen Ziel eines Arbeitsausfluges zu inspizieren.
GEWERBLICHE ANWENDBARKEIT
Die Überwachungsvorrichtung und das Überwachungsverfahren gemäß der vorliegenden Offenbarung haben die Wirkung, zum geeigneten Überprüfen des Zustands eines einem Überwachungsziel entsprechenden Objektes geeignet zu sein, während ein Schutz der Privatsphäre von Personen in einem Fall, in dem sich ein in einer ähnlichen Weise zu einer Person bewegendes Objekt als ein Ziel zur Überwachung festgelegt ist, erreicht wird, und sie sind als eine Überwachungsvorrichtung, ein Überwachungsverfahren oder Ähnliches nützlich, die ein Ausgabevideo erzeugen und ausgiben, auf welchem eine Maskierungsverarbeitung, die einen Bildbereich eines in dem Video eines Überwachungsbereiches detektierten bewegten Objektes in ein Maskenbild ändert, implementiert ist.
Bezugszeichenliste

1: Kamera (Überwachungsvorrichtung)
2: Recorder
3: PC
4: Monitor
6: Eingabevorrichtung
11: PC
12: Cloud Computer
13: Smartphone
14: Tabletendgerät
21: Abbildungsteil
22: Videospeicher
23: Videoerlanger
24: Bildanalysierer
25: Hintergrundbilderzeuger
26: Videoausgabesteuerung
27: Maskierungungültigkeitsbereichfestleger
28: Bewegungsmusterfestleger
31: Bewegtobjektdetektor
32: Verarbeitungszielauswähler
101: Kamera
102: PC (Überwachungsvorrichtung)

Claims

Überwachungsvorrichtung, die ein Ausgabevideo erzeugt und ausgibt, auf welchem eine Maskierungsverarbeitung, welche einen Bildbereich eines bewegten Objektes, das in einem Überwachungsbereich detektiert wird, in ein Maskenbild ändert, implementiert ist, wobei die Vorrichtung aufweist: einen Maskierungungültigkeitsbereichfestleger, der einen Maskierungungültigkeitsbereich in Video des Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers festlegt; einen Bewegtobjektdetektionsteil, der ein bewegtes Objekt in dem Video des Überwachungsbereichs detektiert und Bereichsinformationen für jedes bewegte Objekt erlangt; einen Verarbeitungszielauswähler, der ob ein Bildbereich eines bewegten Objektes, das durch den Bewegtobjektdetektierer detektiert wird, als ein Ziel der Maskierungsverarbeitung festzulegen ist oder nicht in Übereinstimmung damit auswählt, ob der Bildbereich in dem Maskierungungültigkeitsbereich angeordnet ist oder nicht; und eine Videoausgabesteuerung, die ein Ausgabevideo erzeugt und ausgibt, in welchem die Maskierungsverarbeitung nur auf einem Bildbereich eines bewegten Objektes, der als ein Ziel der Maskierungsverarbeitung durch den Verarbeitungszielauswähler festgelegt ist, implementiert ist.
Überwachungsvorrichtung nach Anspruch 1, die weiter aufweist: einen Bewegungsmusterfestleger, der ein Bewegungsmuster eines vorbestimmten bewegten Objektes entsprechend einer Bedienungseingabe eines Nutzers festlegt, wobei der Verarbeitungszielauswähler ob ein Bildbereich eines bewegten Objektes, das in dem Maskierungungültigkeitsbereich angeordnet ist, als ein Ziel der Maskierungsverarbeitung festzulegen ist oder nicht in Übereinstimmung damit auswählt, ob das bewegte Objekt und das Bewegungsmuster einander entsprechen oder nicht.
Überwachungsvorrichtung nach Anspruch 2, wobei das Bewegungsmuster durch Verwenden wenigstens einer Bewegungsgeschwindigkeit und/oder einer Bewegungsrichtung eines bewegten Objektes festgelegt ist.
Überwachungsvorrichtung nach Anspruch 1, wobei der Verarbeitungszielauswähler dann, wenn ein festes Bild, das ein vorbestimmtes bewegtes Objekt darstellt, in einem Bildbereich eines bewegten Objektes, das in dem Maskierungungültigkeitsbereich angeordnet ist, detektiert wird, den Bildbereich des bewegten Objektes nicht als ein Ziel der Maskierungsverarbeitung festlegt.
Überwachungsvorrichtung nach einem der Ansprüche 1 bis 4, die weiter aufweist: einen Bewegtobjektverfolgungsteil, der ein durch den Bewegtobjektdetektor detektiertes bewegtes Objekt verfolgt, wobei der Verarbeitungszielauswähler in einem Fall, in dem ein in dem Maskierungungültigkeitsbereich angeordnetes bewegtes Objekt in den Maskierungungültigkeitsbereich eintritt, nachdem es in einem von dem Maskierungungültigkeitsbereich verschiedenen Bereich erschienen ist, einen Bildbereich des bewegten Objektes fortlaufend als das Ziel der Maskierungsverarbeitung festlegt.
Überwachungsvorrichtung nach Anspruch 5, die weiter aufweist: einen Personenbestimmungsteil, der bestimmt, ob ein bewegtes Objekt, das durch den Bewegtobjektdetektor detektiert wird, eine Person ist oder nicht, wobei der Bewegtobjektverfolungsteil ein bewegtes Objekt, das durch den Personenbestimmungsteil als Person bestimmt ist, verfolgt.
Überwachungsverfahren, das eine Informationsverarbeitungsvorrichtung zum Durchführen einer Verarbeitung führt, die ein Ausgabevideo erzeugt und ausgibt, auf welchem eine Maskierungsverarbeitung, welche einen Bildbereich eines bewegten Objektes, das in Video eines Überwachungsbereiches detektiert wird, in ein Maskenbild ändert, implementiert ist, wobei das Verfahren aufweist: einen Schritt des Festlegens eines Maskierungungültigkeitsbereiches in Video des Überwachungsbereiches entsprechend einer Bedienungseingabe eines Nutzers; einen Schritt des Detektierens eines bewegten Objektes in dem Video des Überwachungsbereiches und des Erlangens von Bereichsinformationen für jedes bewegte Objekt; einen Schritt des Auswählens, ob ein Bildbereich eines bewegten Objektes, das in dem Schritt des Detektierens detektiert wird, als ein Ziel der Maskierungsverarbeitung in Übereinstimmung damit festzulegen ist oder nicht, ob der Bildbereich in dem Maskierungungültigkeitsbereich angeordnet ist oder nicht; und einen Schritt des Erzeugens und Ausgebens eines Ausgabevideos, in welchem die Maskierungsverarbeitung nur auf einem Bildbereich eines bewegten Objektes, der als ein Ziel der Maskierungsverarbeitung in dem Schritt des Auswählens festgelegt ist, implementiert ist.