DE112021007910T5

DE112021007910T5 - Bildverarbeitungssystem und bildgebungsvorrichtung

Info

Publication number: DE112021007910T5
Application number: DE112021007910.7T
Authority: DE
Inventors: Keiji Uemura; Susumu IINO; Masahide Koike
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2024-05-08
Also published as: JPWO2023276050A1; WO2023276050A1; CN117546461A; US20240119598A1; JP7483140B2

Abstract

Eine Überwachungskamera (110) umfasst eine Abbildungseinheit (111), die Bilddaten erzeugt; eine Teilungsverarbeitungseinheit (112), die das Bild in ein verarbeitbares Bild und ein Zielbild teilt, wenn eine Verarbeitungslast der an dem Bild auszuführenden Bildverarbeitung größer als eine vorbestimmte Last ist; eine Bildverarbeitungseinheit (113), die die Bildverarbeitung an dem verarbeitbaren Bild ausführt; und eine Übertragungseinheit (115), die ein erstes Bildverarbeitungsergebnis, das ein Ergebnis der an dem verarbeitbaren Bild ausgeführten Bildverarbeitung ist, und Zielbilddaten, die das Zielbild angeben, an eine Endgeräteinrichtung (140) überträgt. Die Endgeräteinrichtung (140) umfasst: eine Kommunikationseinheit (141), die das erste Bildverarbeitungsergebnis und die Zielbilddaten empfängt; eine Bildverarbeitungseinheit (142), die eine Bildverarbeitung an dem durch die Zielbilddaten angegebenen Zielbild ausführt; und eine Verwaltungseinheit (144), die ein Ergebnis durch Integration des ersten Bildverarbeitungsergebnisses und eines zweiten Bildverarbeitungsergebnisses, das ein Ergebnis der an dem Zielbild ausgeführten Bildverarbeitung ist, erfasst.

Description

TECHNISCHES GEBIET
Die Offenbarung bezieht sich auf ein Bildverarbeitungssystem und eine Bildgebungsvorrichtung.
HINTERGRUND ZUM STAND DER TECHNIK
Es gibt eine Technologie zur Verarbeitung von Bildern, die von Überwachungskameras aufgenommen wurden, wie z. B. die Erkennung von Personen in Echtzeit durch in die Überwachungskameras eingebaute Prozessoren oder ähnliches. Bei dieser Technologie führen die Überwachungskameras eine fortgeschrittene Bildverarbeitung durch, so dass die Verarbeitungsfähigkeit der Überwachungskameras je nach dem Inhalt der Bilder, die sich von Moment zu Moment ändern, unzureichend sein kann.
Die Patentliteratur 1 offenbart ein Verfahren zur Verteilung der Verarbeitungslast auf andere Vorrichtungen, die mit einer Überwachungskamera verbunden sind, um die mangelnde Verarbeitungsfähigkeit der Überwachungskamera auszugleichen.
STAND DER TECHNIK LITERATURHINWEIS
PATENTREFERENZ
Patentliteratur 1: Japanische Patentanmeldung, Veröffentlichungsnummer 2014-102691
KURZFASSUNG DER ERFINDUNG
TECHNISCHE AUFGABE DER ERFINDUNG
Da jedoch ein Teil der Verarbeitung auf andere Vorrichtungen übertragen wird und diese anderen Vorrichtungen den Teil der Verarbeitung ausführen, hat das herkömmliche Verfahren das Problem, dass, wenn die Verarbeitungslast des zu übertragenden Teils der Verarbeitung hoch ist, die Verarbeitungslast der Vorrichtungen, die den Teil der Verarbeitung ausführen, hoch wird, und die Vorrichtung, die ursprünglich diesen Teil der Verarbeitung ausführen sollte, eine zusätzliche Verarbeitungslast hat.
Dementsprechend besteht ein Ziel eines oder mehrerer Aspekte der Offenbarung darin, die Verarbeitungskapazität einer Bildgebungsvorrichtung voll auszunutzen und die Last angemessen auf andere Vorrichtungen zu verteilen.
MITTEL ZUR LÖSUNG DES PROBLEMS
Ein Bildverarbeitungssystem gemäß einem Aspekt der Offenbarung enthält eine Bildgebungsvorrichtung und eine Endgeräteinrichtung, wobei die Bildgebungsvorrichtung eine Abbildungseinheit enthält, die eingerichtet ist, ein Bild zu erfassen und Bilddaten zu erzeugen, die das Bild anzeigen; eine Teilungsverarbeitungseinheit, die eingerichtet ist, das Bild in ein verarbeitbares Bild und ein Zielbild zu teilen, wenn eine Verarbeitungslast der Bildverarbeitung, die an dem Bild ausgeführt wird, größer als eine vorbestimmte Last ist; eine erste Bildverarbeitungseinheit, die eingerichtet ist, die Bildverarbeitung an dem verarbeitbaren Bild auszuführen; und eine Übertragungseinheit, die eingerichtet ist, ein erstes Bildverarbeitungsergebnis und Zielbilddaten, die das Zielbild anzeigen, an die Endgeräteinrichtung zu übertragen, wobei das erste Bildverarbeitungsergebnis ein Ergebnis der an dem verarbeitbaren Bild ausgeführten Bildverarbeitung ist; und die Endgeräteinrichtung eine Empfangseinheit enthält, die eingerichtet ist, das erste Bildverarbeitungsergebnis und die Zielbilddaten zu empfangen; eine zweite Bildverarbeitungseinheit, die eingerichtet ist, die Bildverarbeitung an dem durch die Zielbilddaten angegebenen Zielbild aufzuführen; und eine Beschaffungseinheit, die eingerichtet ist, ein Ergebnis durch Integrieren des ersten Bildverarbeitungsergebnisses und eines zweiten Bildverarbeitungsergebnisses, das ein Ergebnis der an dem Zielbild ausgeführten Bildverarbeitung ist, erfasst.
Eine Bildgebungsvorrichtung gemäß einem Aspekt der Offenbarung enthält eine Abbildungseinheit, die eingerichtet ist, ein Bild zu erfassen und Bilddaten zu erzeugen, die das Bild anzeigen; eine Teilungsverarbeitungseinheit, die eingerichtet ist, das Bild in ein verarbeitbares Bild und ein Zielbild zu teilen, wenn eine Verarbeitungslast der Bildverarbeitung, die an dem Bild ausgeführt wird, größer als eine vorbestimmte Last ist; eine Bildverarbeitungseinheit, die eingerichtet ist, die Bildverarbeitung an dem verarbeitbaren Bild auszuführen; und eine Übertragungseinheit, die eingerichtet ist, ein Bildverarbeitungsergebnis und Zielbilddaten, die das Zielbild anzeigen, an eine Endgeräteinrichtung zu übertragen, wobei das Bildverarbeitungsergebnis ein Ergebnis der Bildverarbeitung ist, die an dem verarbeitbaren Bild ausgeführt wird.
WIRKUNGEN DER ERFINDUNG
Gemäß einem oder mehreren Aspekten der Offenbarung kann die Verarbeitungskapazität einer Bildgebungsvorrichtung vollständig genutzt und die Last angemessen auf andere Vorrichtungen verteilt werden.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Überwachungskamerasystems zeigt, das ein Bildverarbeitungssystem gemäß der ersten und zweiten Ausführungsform ist.
2 ist ein Blockdiagramm, das schematisch eine Konfiguration einer Teilungsverarbeitungseinheit gemäß der ersten Ausführungsform zeigt.
3A und 3B sind Blockdiagramme, die Beispiele für eine Hardware-Konfiguration darstellen.
4 ist ein schematisches Diagramm zur Beschreibung der Verarbeitung der Erkennung bestimmter Personen.
5 ist ein Flussdiagramm, das den Betrieb einer Überwachungskamera gemäß der ersten Ausführungsform veranschaulicht.
6 ist ein schematisches Diagramm, das ein Beispiel für ein Bild zeigt.
7 ist ein schematisches Diagramm zur Erläuterung eines ersten Beispiels der Bildteilung.
8A und 8B sind schematische Diagramme eines geteilten Bildes gemäß der ersten Ausführungsform.
9 ist ein Flussdiagramm, das den Betrieb einer Endgeräteinrichtung gemäß der ersten Ausführungsform veranschaulicht.
10 ist ein Blockdiagramm, das schematisch eine Konfiguration einer Teilungsverarbeitungseinheit gemäß einer zweiten Ausführungsform zeigt.
11 ist ein schematisches Diagramm zur Erläuterung eines zweiten Beispiels der Bildteilung.
12 ist ein schematisches Diagramm, das ein geteiltes Bild gemäß der zweiten Ausführungsform zeigt.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
ERSTE AUSFÜHRUNGSFORM
Die vorliegende Ausführungsform wird nun unter Bezugnahme auf die Zeichnungen beschrieben. In den Zeichnungen werden gleiche Teile mit den gleichen Bezugszeichen versehen.
Die Zeichnungen sind schematisch, und die Proportionen usw. der jeweiligen Abmessungen weichen von den tatsächlichen ab. Daher sollten die spezifischen Abmessungen unter Bezugnahme auf die folgende Beschreibung bestimmt werden. Darüber hinaus gibt es auch unter den Zeichnungen Teile, bei denen das Verhältnis oder die Proportionen der Abmessungen zueinander unterschiedlich sind.
1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Überwachungskamerasystems 100 zeigt, das ein Bildverarbeitungssystem gemäß der ersten Ausführungsform ist.
Das Überwachungskamerasystem 100 umfasst eine Überwachungskamera 110 als Bildgebungsvorrichtung und eine Endgeräteinrichtung 140.
Die Überwachungskamera 110 und die Endgeräteinrichtung 140 sind mit einem Netzwerk 101 verbunden, und die Bilddaten der von der Überwachungskamera 110 aufgenommenen Bilder und das Ergebnis der von der Überwachungskamera 110 durchgeführten Bildverarbeitung werden an die Endgeräteinrichtung 140 gesendet. Steuerungsinformationen und dergleichen werden von der Endgeräteinrichtung 140 an die Überwachungskamera 110 gesendet.
Die Überwachungskamera 110 nimmt Bilder der Umgebung ihres Installationsorts auf, führt eine vorbestimmte Bildverarbeitung oder eine Bildbearbeitung in Abhängigkeit von den aufgenommenen Bildern oder einer Anweisung des Endgerätes 140 durch und übermittelt die Bilddaten der aufgenommenen Bilder und das Bildverarbeitungsergebnis an die Endgeräteinrichtung 140.
Das Bildverarbeitungsergebnis sind z. B. Koordinateninformationen, die rechteckige Bereiche mit Personen in einem Bild anzeigen, oder das Ergebnis der Schätzung von Objekten, die in einem Bild erfasst wurden.
Die Überwachungskamera 110 kann an einem von der Endgeräteinrichtung 140 entfernten Ort installiert werden.
Wie in 1 dargestellt, umfasst die Überwachungskamera 110 eine Abbildungseinheit 111, eine Teilungsverarbeitungseinheit 112, eine Bildverarbeitungseinheit 113, eine Speichereinheit 114 und eine Kommunikationseinheit 115.
Die Abbildungseinheit 111 nimmt Bilder auf und erzeugt Bilddaten, die die aufgenommenen Bilder darstellen. Die Abbildungseinheit 111 umfasst beispielsweise einen Bildsensor, der Bilder der Umgebung aufnimmt, und einen Analog-Digital-Wandler (A/D), der die Bilder in Bilddaten umwandelt. Die Bilddaten werden an die Teilungsverarbeitungseinheit 112 weitergeleitet.
Die Teilungsverarbeitungseinheit 112 analysiert die Bilddaten von der Abbildungseinheit 111, um das an der Überwachungskamera 110 zu verarbeitende Bild in Übereinstimmung mit der Verarbeitungslast zu spezifizieren, wenn die Bildverarbeitung an den Bilddaten ausgeführt wird.
Wenn beispielsweise die Verarbeitungslast der Bildverarbeitung, die an einem durch Bilddaten angezeigten Bild auszuführen ist, größer ist als eine bestimmte Last oder eine vorbestimmte Last, teilt die Teilungsverarbeitungseinheit 112 das Bild in ein verarbeitbares Bild und ein Zielbild auf. Das verarbeitbare Bild ist ein Bild, das an der Überwachungskamera 110 verarbeitet werden soll. Das Zielbild ist ein Bild, das von der Endgeräteinrichtung 140 verarbeitet werden soll, und ist der verbleibende Abschnitt des Bildes, der sich nach der Trennung des verarbeitbaren Bildes von dem durch die Bilddaten angegebenen Bild ergibt.
Dabei kann die bestimmte Last die Last sein, die der Bildverarbeitung aus der gesamten an der Überwachungskamera 110 auszuführenden Verarbeitung zugewiesen werden kann, oder die Last, die zum Zeitpunkt der Ausführung der Bildverarbeitung aus der gesamten an der Überwachungskamera 110 ausgeführten Verarbeitung berechnet wird.
Wenn die Verarbeitungslast gleich oder kleiner als die vorbestimmte Last ist, gibt die Teilungsverarbeitungseinheit 112 die Bilddaten von der Abbildungseinheit 111 an die Bildverarbeitungseinheit 113 weiter, ohne die Bilddaten zu teilen. In einem solchen Fall führt die Bildverarbeitungseinheit 113 eine Bildverarbeitung an dem durch die Bilddaten angezeigten Bild durch, und die Kommunikationseinheit 115 überträgt das Ergebnis der an dem durch die Bilddaten angezeigten Bild durchgeführten Bildverarbeitung an die Endgeräteinrichtung 140.
Wenn die Teilungsverarbeitungseinheit 112 das Bildverarbeitungsergebnis von der Bildverarbeitungseinheit 113 erhält, erzeugt die Teilungsverarbeitungseinheit 112 Bildverarbeitungsergebnisdaten, die das Bildverarbeitungsergebnis anzeigen, und veranlasst die Kommunikationseinheit 115, die erzeugten Bildverarbeitungsergebnisdaten an die Endgeräteinrichtung 140 zu übertragen.
Wenn die Verarbeitungslast groß ist und das Bild geteilt wird, erzeugt die Teilungsverarbeitungseinheit 112 Verarbeitungsanweisungsdaten einschließlich Zielbilddaten, die das Zielbild angeben, welches das Bild ist, das nach dem Trennen des verarbeitbaren Bildes von dem durch die Bilddaten angegebenen Bild verbleibt, und Bildverarbeitungsinhaltsdaten, die den Inhalt der Bildverarbeitung angeben, und veranlasst die Kommunikationseinheit 115, die Verarbeitungsanweisungsdaten an die Endgeräteinrichtung 140 zu übertragen.
Wenn die auszuführende Bildverarbeitung vorbestimmt ist, müssen die Bildverarbeitungs-Inhaltsdaten, die den Inhalt der Bildverarbeitung angeben, nicht an die Endgeräteinrichtung 140 übertragen werden.
2 ist ein Blockdiagramm, das schematisch eine Konfiguration der Teilungsverarbeitungseinheit 112 zeigt.
Die Teilungsverarbeitungseinheit 112 umfasst eine Vorverarbeitungseinheit 120, eine Lastbestimmungseinheit 121, eine Steuerungseinheit für den geteilten Bereich 122 und eine Bildteilungseinheit 123.
Die Vorverarbeitungseinheit 120 führt eine Vorverarbeitung durch, die notwendig ist, damit die Bildverarbeitungseinheit 113 eine Bildverarbeitung an dem Bild durchführen kann, das durch die Bilddaten von der Abbildungseinheit 111 angezeigt wird, und leitet das Ergebnis der Vorverarbeitung oder das Vorverarbeitungsergebnis an die Lastbestimmungseinheit 121 weiter. Das Ergebnis der Vorverarbeitung wird zum Bestimmen der Verarbeitungslast der Bildverarbeitung verwendet.
Auf der Grundlage des Vorverarbeitungsergebnisses aus der Vorverarbeitungseinheit 120 bestimmt die Lastbestimmungseinheit 121, ob die Verarbeitungslast, d.h. die Last bei der Ausführung der Bildverarbeitung, mehr als eine vorbestimmte Last ist oder nicht.
Wenn beispielsweise die Abbildungseinheit 111 ein Bild mit einem oder mehreren Objekten aufnimmt, bestimmt die Lastbestimmungseinheit 121, dass die Verarbeitungslast größer als eine vorbestimmte Last ist, wenn die Anzahl der Objekte einen Schwellenwert überschreitet.
Wenn festgestellt wird, dass die Verarbeitungslast größer als eine vorbestimmte Last ist, bestimmt die Steuerungseinheit für den geteilten Bereichs 122, wie das durch die Bilddaten angezeigte Bild geteilt werden soll. Die Steuerungseinheit für den geteilten Bereich 122 weist dann die Bildteilungseinheit 123 an, das Bild entsprechend der Bestimmung zu teilen. Die Teilungsanweisung enthält ein Verfahren, das angibt, wie das Bild geteilt werden soll.
Wenn beispielsweise die Verarbeitungslast größer als eine vorbestimmte Last ist, bestimmt die Steuerungseinheit für den geteilten Bereich 122, dass das durch die Bilddaten angezeigte Bild in ein verarbeitbares Bild und ein Zielbild geteilt wird.
Dabei bestimmt die Steuerungseinheit für den geteilten Bereich 122 das zu verarbeitende Bild, das von dem durch die Bilddaten angezeigten Bild zu trennen ist, so dass die an dem verarbeitbaren Bild auszuführende Bildverarbeitung innerhalb einer vorbestimmten Zeit abgeschlossen wird.
Beispielsweise bestimmt die Steuerungseinheit für den geteilten Bereich 122 das verarbeitbare Bild, das von dem durch die Bilddaten angezeigten Bild zu trennen ist, so dass die Anzahl der in dem verarbeitbaren Bild enthaltenen Motive eine vorbestimmte Anzahl von dem einen oder mehreren Motiven ist, die in dem durch die Bilddaten angezeigten Bild enthalten sind.
Die Bildteilungseinheit 123 verarbeitet Bilddaten gemäß einer Anweisung der Steuerungseinheit für den geteilten Bereich 122.
Wenn beispielsweise die Anweisung von der Steuerungseinheit für den geteilten Bereich 122 eine Anweisung zur Durchführung einer Teilung ist, teilt die Bildteilungseinheit 123 das durch die Bilddaten angegebene Bild gemäß der Anweisung in ein verarbeitbares Bild und ein Zielbild auf und erzeugt Daten für das verarbeitbare Bild und Zielbilddaten, die das Zielbild angeben. Die erzeugten Zielbilddaten werden an die Bildverarbeitungseinheit 113 übergeben.
Wenn die Anweisung der Steuerungseinheit für den geteilten Bereich 122 lautet, keine Teilung durchzuführen, gibt die Bildteilungseinheit 123 die Bilddaten von der Abbildungseinheit 111 an die Bildverarbeitungseinheit 113 weiter.
Zurück zu 1: Die Bildverarbeitungseinheit 113 führt eine Bildverarbeitung an dem verarbeitbaren Bild durch, das durch die verarbeitbaren Bilddaten von der Teilungsverarbeitungseinheit 112 oder das Bild, das durch die Bilddaten von der Abbildungseinheit 111 angezeigt wird. Die Bildverarbeitung kann in einem einzigen Schritt oder in mehreren Schritten erfolgen. Die Bildverarbeitungseinheit 113 gibt dann das Ergebnis der Bildverarbeitung oder das Bildverarbeitungsergebnis an die Teilungsverarbeitungseinheit 112 weiter. Die Bildverarbeitungseinheit 113 wird auch als „erste Bildverarbeitungseinheit“ bezeichnet, und das Ergebnis der von der Bildverarbeitungseinheit 113 an dem verarbeitbaren Bild durchgeführten Bildverarbeitung wird auch als „erstes Bildverarbeitungsergebnis“ bezeichnet.
Die Speichereinheit 114 speichert Programme und Daten, die für die Verarbeitung in der Überwachungskamera 110 erforderlich sind.
Die Kommunikationseinheit 115 kommuniziert mit der Endgeräteinrichtung 140 über das Netzwerk 101. Die Kommunikationseinheit 115 fungiert beispielsweise als Übertragungseinheit, die das erste Bildverarbeitungsergebnis, das das Ergebnis der an dem verarbeitbaren Bild durchgeführten Bildverarbeitung ist, und die Zielbilddaten an die Endgeräteinrichtung 140 überträgt. Die Kommunikationseinheit 115 fungiert auch als Übertragungseinheit, die das Ergebnis der Bildverarbeitung, die an dem durch die Bilddaten von der Abbildungseinheit 111 angezeigten Bild durchgeführt wurde, an die Endgeräteinrichtung 140 überträgt.
Ein Teil oder die Gesamtheit der oben beschriebenen Teilungsverarbeitungseinheit 112 und der Bildverarbeitungseinheit 113 kann beispielsweise durch einen Speicher 10 und einen Prozessor 11, wie eine zentrale Verarbeitungseinheit (CPU), implementiert werden, der die im Speicher 10 gespeicherten Programme ausführt, wie in 3A dargestellt. Solche Programme können über ein Netzwerk bereitgestellt werden oder können auf einem Aufzeichnungsmedium aufgezeichnet und bereitgestellt werden. Das heißt, solche Programme können zum Beispiel als Programmprodukte vorgesehen werden.
Ein Teil oder die Gesamtheit der Teilungsverarbeitungseinheit 112 und der Bildverarbeitungseinheit 113 kann beispielsweise durch eine Verarbeitungsschaltung 12, wie eine einzelne Schaltung, eine zusammengesetzte Schaltung, einen programmierten Prozessor, einen parallel programmierten Prozessor, eine anwendungsspezifische integrierte Schaltung (ASIC) oder ein feldprogrammierbares Gate-Array (FPGA), wie in 3B dargestellt, implementiert werden.
Wie oben beschrieben, können die Teilungsverarbeitungseinheit 112 und die Bildverarbeitungseinheit 113 durch Schaltkreise realisiert werden.
Die Speichereinheit 114 kann durch einen Speicher, z. B. einen flüchtigen oder nichtflüchtigen Speicher, realisiert werden.
Die Kommunikationseinheit 115 kann durch eine Kommunikationsschnittstelle, z. B. eine Netzwerkschnittstellenkarte (NIC), realisiert werden.
Wieder Bezug nehmend auf 1: Die Endgeräteinrichtung 140 ist eine Einrichtung, die die von der Überwachungskamera 110 über das Netzwerk 101 übertragenen Bilddaten auf einem in 1 nicht dargestellten Speichermedium aufzeichnet oder den Benutzern die Bilder auf einem Monitor anzeigt. Darüber hinaus empfängt die Endgeräteinrichtung 140 die Zielbilddaten und die von der Überwachungskamera 110 übertragenen Bildverarbeitungsinhaltsdaten und führt an den empfangenen Zielbilddaten eine Verarbeitung entsprechend dem durch die Bildverarbeitungsinhaltsdaten angegebenen Verarbeitungsinhalt durch.
Wie in 1 dargestellt, umfasst die Endgeräteinrichtung 140 eine Kommunikationseinheit 141, eine Bildverarbeitungseinheit 142, eine Speichereinheit 143 und eine Verwaltungseinheit 144.
Die Kommunikationseinheit 141 kommuniziert mit der Überwachungskamera 110 über das Netzwerk 101. Die Kommunikationseinheit 141 fungiert beispielsweise als Empfangseinheit, die die Zielbilddaten und das erste Bildverarbeitungsergebnis bzw. das Ergebnis der an dem verarbeitbaren Bild durchgeführten Bildverarbeitung an der Überwachungskamera 110 empfängt.
Die Bildverarbeitungseinheit 142 führt eine vorbestimmte Verarbeitung der Bilddaten durch. Die vorbestimmte Verarbeitung umfasst die Verarbeitung des Verarbeitungsinhalts, der durch die von der Überwachungskamera 110 übertragenen Bildverarbeitungsinhaltsdaten angezeigt wird, zusätzlich zu der Verarbeitung, die für die Ausführung durch die Endgeräteinrichtung 140 vorgesehen ist.
Zum Beispiel führt die Bildverarbeitungseinheit 142 eine Bildverarbeitung an dem durch die Zielbilddaten angegebenen Zielbild durch. Die Bildverarbeitungseinheit 142 wird hier auch als „zweite Bildverarbeitungseinheit“ bezeichnet, und das Ergebnis der am Zielbild durchgeführten Bildverarbeitung wird auch als „zweites Bildverarbeitungsergebnis“ bezeichnet.
Die Speichereinheit 143 speichert Programme und Daten, die für die von der Endgeräteinrichtung 140 durchgeführte Verarbeitung erforderlich sind.
Die Verwaltungseinheit 144 verwaltet den Gesamtbetrieb der Endgeräteinrichtung 140. Der Gesamtvorgang umfasst neben der Aufzeichnung der von der Kommunikationseinheit 141 empfangenen Bilddaten auf einem geeigneten Speichermedium (nicht dargestellt) und der Anweisung der Anzeige an die Benutzer auch die Anweisung an die Bildverarbeitungseinheit 142, die durch die Bildverarbeitungsinhaltsdaten angegebene Bildverarbeitung an den empfangenen Zielbilddaten durchzuführen, wenn die Kommunikationseinheit 141 die Verarbeitungsanweisungsdaten einschließlich der Zielbilddaten und der Bildverarbeitungsinhaltsdaten von der Überwachungskamera 110 empfängt.
Die Verwaltungseinheit 144 fungiert als Beschaffungseinheit, die ein Ergebnis erhält, indem sie das erste Bildverarbeitungsergebnis, das das Ergebnis der Bildverarbeitung ist, die an dem verarbeitbaren Bild an der Überwachungskamera 110 ausgeführt wurde, mit dem zweiten Bildverarbeitungsergebnis, das das Ergebnis der Bildverarbeitung ist, die an dem Zielbild ausgeführt wurde, integriert.
Die zu einem Ergebnis zusammengefassten Bildverarbeitungsergebnisse können als ein Ergebnis behandelt werden, das dem entspricht, das man erhält, wenn die Bildverarbeitung durch die Bildverarbeitungseinheit 113 ausgeführt wird, ohne die von der Abbildungseinheit 111 erfassten Bilddaten zu teilen.
Ein Teil oder die Gesamtheit der oben beschriebenen Bildverarbeitungseinheit 142 und der Verwaltungseinheit 144 kann auch z. B. durch einen Speicher 10 und einen Prozessor 11, wie z. B. eine CPU, implementiert werden, der die im Speicher 10 gespeicherten Programme ausführt, wie in 3A dargestellt. Solche Programme können über ein Netzwerk bereitgestellt werden oder können auf einem Aufzeichnungsmedium aufgezeichnet und bereitgestellt werden. Das heißt, solche Programme können zum Beispiel als Programmprodukte vorgesehen werden. Mit anderen Worten: Die Endgeräteinrichtung 140 kann durch einen Computer implementiert werden.
Ein Teil oder die Gesamtheit der Bildverarbeitungseinheit 142 und der Verwaltungseinheit 144 kann beispielsweise durch eine Verarbeitungsschaltung 12, wie eine einzelne Schaltung, eine zusammengesetzte Schaltung, einen programmierten Prozessor, einen parallel programmierten Prozessor, einen ASIC oder einen FPGA, wie in 3B dargestellt, implementiert werden.
Wie oben beschrieben, können die Bildverarbeitungseinheit 142 und die Verwaltungseinheit 144 durch Schaltkreise realisiert werden.
Die Speichereinheit 143 kann durch einen Speicher, z. B. einen flüchtigen oder einen nichtflüchtigen Speicher, realisiert werden.
Die Kommunikationseinheit 141 kann durch eine Kommunikationsschnittstelle, wie z. B. eine NIC, realisiert werden.
Im Folgenden wird ein Überblick über die Überwachungsverarbeitung als Systemverarbeitung beschrieben, die von dem Überwachungskamerasystem 100 gemäß der ersten Ausführungsform ausgeführt wird.
In diesem Fall handelt es sich bei der Überwachungsverarbeitung z. B. um die Verarbeitung der Erkennung bestimmter Personen P1, wie in 4 dargestellt. Die Verarbeitung der Erkennung bestimmter Personen P1 besteht aus der Personenerkennung P1-1 zur Erkennung einer Person, der Schätzung der Gesichtsposition P1-2 zur Schätzung der Position des Gesichts der erfassten Person, der Gesichtserkennung P1-3 zur Erkennung des Gesichts der erfassten Person, der Datenbank-Kollationierung P1-4 zum Abgleich des erkannten Gesichts der erfassten Person mit in einer Datenbank gespeicherten Gesichtern und der Personenbestimmung P1-5 zum Bestimmen, ob es sich bei der erfassten Person um eine bestimmte Person handelt oder nicht, auf der Grundlage des Kollationierungsergebnisses.
Die Verarbeitung der Erkennung bestimmter Personen P1 extrahiert das Gesicht einer Person aus den Bilddaten und bestimmt, ob die entsprechende Person in der vorab gespeicherten Datenbank enthalten ist oder nicht. Im Folgenden wird die Verarbeitung der Erkennung bestimmter Personen P1 als Beispiel für eine Überwachungsverarbeitung verwendet, aber die vorliegende Ausführungsform ist nicht auf ein solches Beispiel beschränkt.
Hier werden in der Verarbeitung der Erkennung bestimmter Personen P1 die Schätzung der Gesichtsposition P1-2, die Gesichtserkennung P1-3, die Datenbank-Kollationierung P1-4 und die Personenbestimmung P1-5 als Bildverarbeitung definiert, und die Personenerkennung P1-1 wird als Vorverarbeitung zur Abschätzung der Verarbeitungslast der Bildverarbeitung (P1-2 bis P1-5) definiert, die eine Nachverarbeitung ist. Die Vorverarbeitung der vorliegenden Ausführungsform ist jedoch nicht auf die Personenerkennung P1-1 beschränkt, und es kann jede beliebige Verarbeitung durchgeführt werden, solange die Verarbeitungslast der Bildverarbeitung bestimmt werden kann.
5 ist ein Flussdiagramm, das den Betrieb der Überwachungskamera 110 gemäß der ersten Ausführungsform illustriert.
Zunächst erzeugt die Abbildungseinheit 111 Bilddaten, indem sie die vom Bildsensor erhaltenen Signale in Bilddaten umwandelt (Schritt S10). Die Bildverarbeitungseinheit 111 leitet die Bilddaten an die Teilungsverarbeitungseinheit 112 weiter.
Die Vorverarbeitungseinheit 120 der Teilungsverarbeitungseinheit 112 führt die Personenerkennung P1-1 als Vorverarbeitung an den Bilddaten der Abbildungseinheit 111 durch (Schritt S11).
Wenn die Bilddaten beispielsweise ein in 6 dargestelltes Bild IM1 anzeigen, erkennt die Vorverarbeitungseinheit 120 die Anzahl und Position von Personen als Ergebnis der Ausführung der Personenerkennung P1-1. Im Beispiel von 6 werden vier Personen und die Positionen der vier Personen erfasst.
Für die Personenerkennung P1-1 können allgemein bekannte Verfahren verwendet werden, wie z. B. die Personenerkennung anhand von Histogrammen orientierter Gradienten (HOG) oder die Personenerkennung anhand von Haarähnlichen Merkmalen.
Hier unterteilt die Vorverarbeitungseinheit 120 das Bild IM1 in mehrere vorbestimmte Bereiche oder vier Bereiche R1 bis R4, wie in 7 dargestellt, und erkennt die Personen und deren Positionen in jedem der Bereiche R1 bis R4. Die Vorverarbeitungseinheit 120 bestimmt dann die Anzahl der Personen im Bild IM1 auf der Grundlage der in den jeweiligen Bereichen R1 bis R4 erkannten Personen.
Anschließend bestimmt die Lastbestimmungseinheit 121 auf der Grundlage des Erkennungsergebnisses der Vorverarbeitungseinheit 120, ob die Verarbeitungslast der Bilddaten einen bestimmten Schwellenwert überschreitet oder nicht (Schritt S12). Hier wird durch Setzen des Schwellenwerts auf eine Verarbeitungslast der Bildverarbeitung von Bilddaten, die innerhalb einer vorbestimmten Zeit oder innerhalb einer Zeit, die schätzungsweise der Bildverarbeitung von Bilddaten aus der Gesamtverarbeitung, die an der Überwachungskamera 110 ausgeführt wird, zugewiesen wird, wenn die Bildverarbeitung ausgeführt wird, bestimmt, ob die Bildverarbeitung der Bilddaten innerhalb der vorbestimmten Zeit abgeschlossen ist oder nicht. Konkret erfolgt das Bestimmen auf der Basis, ob die Anzahl der von der Vorverarbeitungseinheit 120 erfassten Personen über einer vorbestimmten Anzahl von Personen oder einem Schwellenwert liegt oder nicht. Wie in 7 dargestellt, kann die Bestimmung beispielsweise auf der Grundlage erfolgen, ob die Personendichte in einem der Bereiche R1 bis R4, die durch Unterteilung des Bildes IM1 erhalten wurde, höher als ein vorbestimmter Schwellenwert ist oder nicht. Wenn die Verarbeitungslast gleich oder kleiner als der Schwellenwert ist (Nein in Schritt S12), wird die Verarbeitung mit Schritt S13 fortgesetzt, und wenn die Verarbeitungslast größer als der Schwellenwert ist (Ja in Schritt S12), wird die Verarbeitung mit Schritt S14 fortgesetzt.
In Schritt S13, da festgestellt wird, dass die Bildverarbeitung innerhalb der vorbestimmten Zeit abgeschlossen ist, weist die Steuerungseinheit für den geteilten Bereich 122 die Bildaufteilungseinheit 123 an, die von der Abbildungseinheit 111 erhaltenen Bilddaten direkt an die Bildverarbeitungseinheit 113 zu geben. Die Bildverarbeitungseinheit 113 führt dann eine Bildverarbeitung an dem durch die Bilddaten angezeigten Bild durch. Hier führt die Bildverarbeitungseinheit 113 die Schätzung der Gesichtsposition P1-2, die Gesichtserkennung P1-3, die Datenbank-Kollationierung P1-4 und die Personenbestimmung P1-5 der Verarbeitung der Erkennung bestimmter Personen P1 auf dem durch die Bilddaten angegebenen Bild durch, ohne die Vorverarbeitung durchzuführen. Es wird angenommen, dass die für den Datenbank-Kollationierung P1-4 verwendete Datenbank in der Speichereinheit 114 gespeichert ist. Die Bildverarbeitungseinheit 113 gibt dann das Ausführungsergebnis der Bildverarbeitung oder das Bildverarbeitungsergebnis an die Steuerungseinheit für den geteilten Bereich 122 weiter, und die Steuerungseinheit für den geteilten Bereich 122 erzeugt Bildverarbeitungsergebnisdaten, die das Bildverarbeitungsergebnis anzeigen, und veranlasst die Kommunikationseinheit 115, die Bildverarbeitungsergebnisdaten an die Endgeräteinrichtung 140 zu übertragen.
Unterdessen, in Schritt S14, da festgestellt wird, dass die Bildverarbeitung nicht innerhalb der vorbestimmten Zeit abgeschlossen werden kann, bestimmt die Steuerungseinheit für den geteilten Bereich 122, das durch die Bilddaten angezeigte Bild in ein Bild eines Bereichs, der verarbeitet werden kann, oder ein verarbeitbares Bild, und ein Bild des Bereichs, der nicht das verarbeitbare Bild ist, oder ein Zielbild, zu unterteilen, und bestimmt die jeweiligen Bereiche des verarbeitbaren Bilds und des Zielbilds.
Wenn zum Beispiel die Vorverarbeitungseinheit 120 die Personenerkennung P1-1 durchführt, nachdem sie das Bild in die vorbestimmten Bereiche R1 bis R4 unterteilt hat, wie in 7 dargestellt, muss die Steuerungseinheit für den geteilten Bereich 122 nur das verarbeitbare Bild so bestimmen, dass die Anzahl der im verarbeitbaren Bild enthaltenen Personen gleich oder kleiner als ein vorbestimmter Schwellenwert ist. Wenn der Schwellenwert „eine Person“ ist, muss die Steuerungseinheit für den geteilten Bereich 122 nur die Bilder der Bereiche R1 und R2 als verarbeitbare Bilder und die Bereiche R3 und R4 als Zielbilder festlegen. Alternativ können die Bilder der Bereiche R2 und R3 als verarbeitbare Bilder eingestellt werden, wobei die horizontalen Bereiche Vorrang vor den vertikalen haben.
Im Einzelnen legt die Steuerungseinheit für den geteilten Bereich 122 den Bereich mit der geringsten Personenzahl als Bestimmungsbereich fest und bestimmt, ob die Personenzahl in dem Bestimmungsbereich gleich oder kleiner als der Schwellenwert ist oder nicht. Wenn die Anzahl der Personen in dem Bestimmungsbereich gleich oder kleiner als der Schwellenwert ist, erweitert die Steuerungseinheit für den geteilten Bereich 122 den Bestimmungsbereich, indem sie einen Bereich hinzufügt, der die kleinste Anzahl von Personen der an den Bestimmungsbereich angrenzenden Bereiche enthält, und bestimmt auf ähnliche Weise, ob die Anzahl der Personen in dem Bestimmungsbereich gleich oder kleiner als der Schwellenwert ist oder nicht. Die Steuerungseinheit für den geteilten Bereich 122 wiederholt die obige Verarbeitung, um den Bereich des größten Bildes, in dem die Anzahl der im Bestimmungsbereich enthaltenen Personen gleich oder kleiner als der Schwellenwert ist, als verarbeitbares Bild zu definieren.
Als nächstes teilt die Bildteilungseinheit 123 das durch die Bilddaten von der Abbildungseinheit 111 angezeigte Bild in ein verarbeitbares Bild und ein Zielbild in Übereinstimmung mit dem Bestimmen durch die Steuerungseinheit für den geteilten Bereich 122 auf und erzeugt Daten des verarbeitbaren Bildes und Zielbilddaten, die das Zielbild anzeigen (Schritt S15). Beispielsweise definiert die Bildteilungseinheit 123 das in 8A dargestellte Bild als das verarbeitbare Bild und das in 8B dargestellte Bild als das Zielbild. Die verarbeitbaren Bilddaten werden an die Bildverarbeitungseinheit 113 übergeben.
Die Steuerungseinheit für den geteilten Bereich 122 veranlasst dann die Kommunikationseinheit 115, Verarbeitungsanweisungsdaten einschließlich Zielbilddaten, die das Zielbild angeben, und Bildverarbeitungsinhaltsdaten, die den Inhalt der Bildverarbeitung angeben, an die Endgeräteinrichtung 140 zu übertragen (Schritt S16). Beispielsweise muss die Steuerungseinheit für den geteilten Bereich 122 nur Bildverarbeitungsinhaltsdaten erzeugen, die die Anzahl und Position von Personen angeben, die als Ergebnis der von der Vorverarbeitungseinheit 120 durchgeführten Personenerkennung P1-1 und des Verarbeitungsinhalts der Schätzung der Gesichtsposition P1-2, der Gesichtserkennung P1-3, der Datenbank-Kollationierung P1-4 und der Personenbestimmung P1-5 der Verarbeitung der Erkennung bestimmter Personen P1 erhalten wurden, ohne die Vorverarbeitung durchzuführen. Der Verarbeitungsinhalt kann ein Programm sein, das die auszuführende Verarbeitung beschreibt, oder ein Symbol oder eine Zeichenkette, die das entsprechende Programm bezeichnet, wenn die Endgeräteinrichtung 140 das Programm enthält, das die auszuführende Verarbeitung beschreibt.
Wenn die Bildverarbeitungseinheit 113 die verarbeitbaren Bilddaten empfängt, führt die Bildverarbeitungseinheit 113 eine Bildverarbeitung an den verarbeitbaren Bilddaten durch und gibt das Ergebnis der Bildverarbeitung bzw. das Bildverarbeitungsergebnis an die Steuerungseinheit für den geteilten Bereich 122 weiter. Die Steuerungseinheit für den geteilten Bereich 122 erzeugt Bildverarbeitungsergebnisdaten, die das Bildverarbeitungsergebnis anzeigen, und veranlasst die Kommunikationseinheit 115, die Bildverarbeitungsergebnisdaten an die Endgeräteinrichtung 140 zu übertragen (Schritt S17).
9 ist ein Flussdiagramm, das den Betrieb der Endgeräteinrichtung 140 gemäß der ersten Ausführungsform veranschaulicht.
Dargestellt ist der Betrieb der Endgeräteinrichtung 140, wenn ein Bild an der Überwachungskamera 110 geteilt wird.
Zunächst empfängt die Kommunikationseinheit 141 Verarbeitungsanweisungsdaten von der Überwachungskamera 110 und gibt die Verarbeitungsanweisungsdaten an die Bildverarbeitungseinheit 142 weiter (Schritt S20).
Die Bildverarbeitungseinheit 142 führt die Schätzung der Gesichtsposition P1-2, die Gesichtserkennung P1-3, die Datenbank-Kollationierung P1-4 und die Personenbestimmung P1-5 der Verarbeitung der Erkennung bestimmter Personen P1 durch, ohne die Vorverarbeitung an dem Zielbild durchzuführen, das durch die in den Verarbeitungsanweisungsdaten enthaltenen Zielbilddaten für die Anzahl und Position der Personen angegeben ist, die durch die in den Verarbeitungsanweisungsdaten enthaltenen Bildverarbeitungsinhaltsdaten angegeben sind, und erhält das Ergebnis der Bildverarbeitung an dem Zielbild oder das Bildverarbeitungsergebnis (Schritt S21). Das Bildverarbeitungsergebnis des Zielbildes wird an die Verwaltungseinheit 144 weitergeleitet. Es wird angenommen, dass die Datenbank zur Durchführung der Datenbank-Kollationierung P1-4 in der Speichereinheit 143 gespeichert ist.
Die Kommunikationseinheit 141 empfängt die Bildverarbeitungsergebnisdaten von der Überwachungskamera 110 und gibt die Bildverarbeitungsergebnisdaten an die Verwaltungseinheit 144 weiter. Die Verwaltungseinheit 144 kombiniert dann das Bildverarbeitungsergebnis, das durch die Bildverarbeitungsergebnisdaten von der Kommunikationseinheit 141 angezeigt wird, mit dem Bildverarbeitungsergebnis des Zielbildes und integriert sie in ein Bildverarbeitungsergebnis.
Das zu einem Ergebnis zusammengefasste Bildverarbeitungsergebnis kann als ein Ergebnis behandelt werden, das dem Ergebnis der an den ursprünglichen Bilddaten durchgeführten Verarbeitung zur Erkennung bestimmter Personen P1 entspricht (Schritt S22).
Wie oben erläutert, kann das Überwachungskamerasystem 100 in geeigneter Weise Verarbeitungen durchführen, die an der Überwachungskamera 110 ausgeführt werden können, und dann die Last mit der Endgeräteinrichtung 140 teilen.
Gemäß dem Überwachungskamerasystem 100 nach der oben beschriebenen ersten Ausführungsform werden die Bilddaten entsprechend der Verarbeitungskapazität der Überwachungskamera 110 aufgeteilt, um eine angemessene Zuteilung der an der Überwachungskamera 110 auszuführenden Verarbeitung zu ermöglichen, unabhängig von der für die auszuführende Verarbeitung erforderlichen Verarbeitungslast.
Mit dem Überwachungskamerasystem 100 gemäß der ersten Ausführungsform kann die Verarbeitungskapazität der Überwachungskamera 110 effektiv genutzt werden, da die Bilddaten in Bereiche unterteilt werden können, die der Last der Verarbeitung entsprechen, die an der Überwachungskamera 110 ausgeführt werden kann.
Bei dem Überwachungskamerasystem 100 gemäß der ersten Ausführungsform tritt in den Bereichen der an der Überwachungskamera 110 auszuführenden Bilddaten keine Verzögerung bei der Netzwerkübertragung auf, und die Verarbeitung kann in Echtzeit ausgeführt werden, wie in dem Fall, in dem die Bilddaten nicht geteilt werden. Dadurch ist es möglich, die Verarbeitung ohne Verzögerung fortzusetzen, auch wenn die Bildverarbeitung mit dem Ergebnis der Verarbeitung früherer Bilder durchgeführt wird.
Da bei dem Überwachungskamerasystem 100 gemäß der ersten Ausführungsform die an der Überwachungskamera 110 auszuführenden Bereiche der Bilddaten nicht über das Netzwerk 101 übertragen werden, ist es möglich, eine Einstellung zur Ausführung der Verarbeitung für den Teil, der Privatsphäre erfordert, innerhalb der Überwachungskamera 110 festzulegen.
Da bei dem Überwachungskamerasystem 100 gemäß der ersten Ausführungsform die Bereiche der an der Überwachungskamera 110 auszuführenden Bilddaten nicht über das Netzwerk 101 übertragen werden, kann eine fortschrittliche Bildverarbeitung auch in einer Umgebung erreicht werden, in der der Umfang der Netzwerkübertragung unterdrückt wird und die Bandbreite des Netzwerks unzureichend ist.
Da bei dem Überwachungskamerasystem 100 gemäß der ersten Ausführungsform die an der Überwachungskamera 110 auszuführenden Bereiche der Bilddaten nicht über das Netzwerk 101 übertragen werden, kann eine fortschrittliche Bildverarbeitung auch dann erreicht werden, wenn die Leistung der Endgeräteinrichtung im Vergleich zu einem Fall, in dem die gesamte Bildverarbeitung an die Endgeräteinrichtung ausgeführt wird, gering ist.
ZWEITE AUSFÜHRUNGSFORM
Wie in 1 dargestellt, umfasst ein Überwachungskamerasystem 200, das ein Bildverarbeitungssystem ist, gemäß der zweiten Ausführungsform eine Überwachungskamera 210 und eine Endgeräteinrichtung 140.
Die Endgeräteinrichtung 140 des Überwachungskamerasystems 200 nach der zweiten Ausführungsform ist das gleiche wie die Endgeräteinrichtung 140 des Überwachungskamerasystems 100 nach der ersten Ausführungsform.
Wie in 1 dargestellt, umfasst die Überwachungskamera 210 eine Abbildungseinheit 111, eine Teilungsverarbeitungseinheit 212, eine Bildverarbeitungseinheit 113, eine Speichereinheit 114 und eine Kommunikationseinheit 115.
Die Abbildungseinheit 111, die Bildverarbeitungseinheit 113, die Speichereinheit 114 und die Kommunikationseinheit 115 der Überwachungskamera 210 gemäß der zweiten Ausführungsform sind jeweils die gleichen wie die Abbildungseinheit 111, die Bildverarbeitungseinheit 113, die Speichereinheit 114 und die Kommunikationseinheit 115 der Überwachungskamera 110 gemäß der ersten Ausführungsform.
Die Teilungsverarbeitungseinheit 212 analysiert Bilddaten von der Abbildungseinheit 111, um das zu verarbeitende Bild an der Überwachungskamera 210 entsprechend der Verarbeitungslast zu teilen, wenn die Bildverarbeitung an den Bilddaten ausgeführt wird.
In der zweiten Ausführungsform wird, wie in der ersten Ausführungsform, die in 4 dargestellte Verarbeitung der Erkennung bestimmter Personen P1 als Systemverarbeitung für die Erklärung ausgeführt.
Im Allgemeinen werden die Gesichtserkennung P1-3 und die Datenbank-Kollationierung P1-4 der Verarbeitung der Erkennung bestimmter Personen P1 schwieriger, wenn die Anzahl der Pixel auf dem zu verarbeitenden Bild klein wird. Aus diesem Grund ist es notwendig, die Verarbeitungsgenauigkeit zu verbessern, indem z. B. das Bild auf eine verarbeitbare Größe vergrößert oder die Verarbeitung mehrfach durchgeführt wird, was die Verarbeitungslast erhöht.
Daher verteilt die Teilungsverarbeitungseinheit 212 in der zweiten Ausführungsform die Verarbeitungslast, indem sie ein Bild in ein verarbeitbares Bild, das einem Bereich entspricht, der ein Bild der Umgebung der Überwachungskamera 110 aufnimmt, und ein Zielbild, das einem von der Überwachungskamera 110 entfernten Bereich entspricht, teilt.
Beispielsweise trennt die Teilungsverarbeitungseinheit 212 das verarbeitbare Bild von dem durch die Bilddaten angezeigten Bild, so dass eine vorbestimmte Anzahl von Objekten in dem verarbeitbaren Bild enthalten ist, und zwar in der Reihenfolge von dem Objekt nahe der Abbildungseinheit 111 bis zu dem einen oder mehreren Objekten, die in dem Bild enthalten sind.
10 ist ein Blockdiagramm, das schematisch eine Konfiguration der Teilungsverarbeitungseinheit 212 gemäß der zweiten Ausführungsform zeigt.
Die Teilungsverarbeitungseinheit 212 umfasst eine Vorverarbeitungseinheit 120, eine Lastbestimmungseinheit 121, eine Steuerungseinheit für den geteilten Bereich 222 und eine Bildteilungseinheit 123.
Die Vorverarbeitungseinheit 120, die Lastbestimmungseinheit 121 und die Bildteilungseinheit 123 der Teilungsverarbeitungseinheit 212 gemäß der zweiten Ausführungsform sind jeweils die gleichen wie die Vorverarbeitungseinheit 120, die Lastbestimmungseinheit 121 und die Bildteilungseinheit 123 der Teilungsverarbeitungseinheit 112 gemäß der ersten Ausführungsform.
Wenn die Verarbeitungslast mehr als eine vorbestimmte Last ist, mit anderen Worten, wenn die Lastbestimmungseinheit 121 feststellt, dass die Bildverarbeitung nicht innerhalb einer vorbestimmten Zeit an der Überwachungskamera 210 abgeschlossen werden kann, bestimmt die Steuerungseinheit für den geteilten Bereich 222, wie die Bilddaten in Übereinstimmung mit dem Abstand zu den von der Vorverarbeitungseinheit 120 erfassten Personen zu teilen sind. Die Steuerungseinheit 122 für den geteilten Bereich weist dann die Bildteilungseinheit 123 entsprechend der Bestimmung an.
Im Allgemeinen ist die Überwachungskamera 210 fest installiert und wird nicht getragen. Daher kann der Abstand zu einer Person in einem von der Überwachungskamera 210 aufgenommenen Bild auf der Grundlage des Ortes, an dem die Überwachungskamera 210 installiert ist, festgelegt werden.
Wenn zum Beispiel die Überwachungskamera 210 ein Bild des Bodens schräg von oben aufnimmt, ist der untere Abschnitt des Bildes IM1 nah und der obere Abschnitt des Bildes weit entfernt, wie in 6 dargestellt. Daher kann die Steuerungseinheit für den geteilten Bereich 222 die Entfernung zu einer Person auf der Grundlage der Position der im Bild erfassten Person grob bestimmen.
Wenn sich beispielsweise der untere Abschnitt des Bildes in einem geringeren Abstand befindet, wie oben beschrieben, kann die Steuerungseinheit für den geteilten Bereich 222 eine Begrenzung L zur Unterteilung des Bildes IM1 vom unteren Rand des Bildes IM1 nach oben verschieben, wie in 11 dargestellt, so dass ein maximaler Bereich, der eine Anzahl von Personen enthält, die von der Überwachungskamera 210 verarbeitet werden können, als verarbeitbares Bild und der verbleibende Abschnitt des Bildes als Zielbild definiert wird.
Wenn die Anzahl der Personen, die von der Überwachungskamera 210 verarbeitet werden können, beispielsweise drei beträgt, kann die Steuerungseinheit für den geteilten Bereich 222 bestimmen, das Bild IM1 in ein Bild IM2, das einem Bereich mit drei Personen entspricht, als verarbeitbares Bild und ein Bild IM3, das dem verbleibenden Bereich entspricht, als Zielbild aufzuteilen, wie in 12 dargestellt. Nach diesem Bestimmen muss die Bildteilungseinheit 123 nur noch das Bild IM1 teilen und Daten für das verarbeitbare Bild und Zielbilddaten für das Zielbild erzeugen.
Wie oben beschrieben, kann gemäß der zweiten Ausführungsform selbst dann, wenn die Verarbeitungslast vom Anteil der zu verarbeitenden Objekte im Bild abhängt, die Last in geeigneter Weise verteilt werden.
In der zweiten Ausführungsform, wenn die Überwachungskamera 210 einen Abstandssensor (nicht dargestellt) zur Messung des Abstands zu einer Person enthält, kann die Steuerungseinheit für den geteilten Bereich 222 auf der Grundlage des Erfassungsergebnisses des Abstandssensors bestimmen, wie ein Bild zu teilen ist.
In der oben beschriebenen ersten und zweiten Ausführungsform wird die Verarbeitung der Erkennung bestimmter Personen P1 als Systemverarbeitung durch die Überwachungskamerasysteme 100 und 200 ausgeführt, aber die erste und zweite Ausführungsform sind nicht auf solche Beispiele beschränkt.
Zum Beispiel kann die Zählung der Blicke als Systemverarbeitung durchgeführt werden. In diesem Fall führt die Vorverarbeitungseinheit 120 dieselbe Personenerkennung wie oben als Vorverarbeitung durch, und die Bildverarbeitungseinheiten 113 und 142 müssen als Bildverarbeitung lediglich eine Schätzung der Gesichtsposition durchführen, um die Position des Gesichts einer erkannten Person zu schätzen, eine Schätzung der Gesichtsmerkmale, um die Merkmale des Gesichts der erkannten Person zu schätzen, und eine Gesichtsorientierungserkennung, um die Ausrichtung des Gesichts der erkannten Person zu erkennen.
Die Analyse verdächtigen Verhaltens kann als Systemverarbeitung durchgeführt werden. In diesem Fall muss die Vorverarbeitungseinheit 120 nur die gleiche Personenerkennung wie oben als Vorverarbeitung durchführen, und die Bildverarbeitungseinheiten 113 und 142 müssen als Bildverarbeitung nur die Skeletterkennung durchführen, um das Skelett der erkannten Person zu erkennen, die Verhaltensanalyse, um das Verhalten der erkannten Person anhand dieses Skeletts zu analysieren, und die Erkennung verdächtigen Verhaltens, um verdächtiges Verhalten anhand des Verhaltens der erkannten Person zu erkennen.
Darüber hinaus kann die Erkennung verlegter oder vergessener Vorrichtungen als Systemverarbeitung durchgeführt werden. In einem solchen Fall muss die Vorverarbeitungseinheit 120 als Vorverarbeitung nur die Erkennung eines verlegten Gegenstands durchführen, um einen verlegten Gegenstand zu erkennen, und die Bildverarbeitungseinheiten 113 und 142 müssen als Bildverarbeitung nur eine Objektschätzung durchführen, um abzuschätzen, was der erkannte Gegenstand ist, und eine Benachrichtigungsverarbeitung, um ein vorbestimmtes Ziel, z. B. eine Einrichtung, über einen verlegten Gegenstand zu informieren. Die Erkennung von verlegten Gegenständen muss nur durch den Vergleich mit einem zuvor erstellten Bild erfolgen.
BEZUGSZEICHENLISTE
100, 200 Überwachungskamerasystem; 110, 210 Überwachungskamera; 111 Abbildungseinheit; 112, 212 Teilungsverarbeitungseinheit; 113 Bildverarbeitungseinheit; 114 Speichereinheit; 115 Kommunikationseinheit; 120 Vorverarbeitungseinheit; 121 Lastbestimmungseinheit; 122, 222 Steuerungseinheit für den geteilten Bereich; 123 Bildteilungseinheit; 140 Endgeräteinrichtung; 141 Kommunikationseinheit; 142 Bildverarbeitungseinheit; 143 Speichereinheit; 144 Verwaltungseinheit.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014102691 [0004]

Claims

Bildverarbeitungssystem, umfassend eine Bildgebungsvorrichtung und eine Endgeräteinrichtung, wobei, die Bildgebungsvorrichtung umfasst: eine Abbildungseinheit, die eingerichtet ist, ein Bild aufzunehmen und Bilddaten zu erzeugen, die das Bild anzeigen; eine Teilungsverarbeitungseinheit, die eingerichtet ist, das Bild in ein verarbeitbares Bild und ein Zielbild aufzuteilen, wenn die Verarbeitungslast der an dem Bild auszuführenden Bildverarbeitung größer als eine vorbestimmte Last ist; eine erste Bildverarbeitungseinheit, die eingerichtet ist, die Bildverarbeitung an dem verarbeitbaren Bild durchzuführen; und eine Übertragungseinheit, die eingerichtet ist, ein erstes Bildverarbeitungsergebnis und Zielbilddaten, die das Zielbild anzeigen, an die Endgeräteinrichtung zu übertragen, wobei das erste Bildverarbeitungsergebnis ein Ergebnis der an dem verarbeitbaren Bild ausgeführten Bildverarbeitung ist, und die Endgeräteinrichtung umfasst: eine Empfangseinheit, die zum Empfang des ersten Bildverarbeitungsergebnisses und der Zielbilddaten eingerichtet ist; eine zweite Bildverarbeitungseinheit, die eingerichtet ist, die Bildverarbeitung an dem durch die Zielbilddaten angegebenen Zielbild auszuführen; und eine Beschaffungseinheit, die eingerichtet ist, ein Ergebnis durch Integrieren des ersten Bildverarbeitungsergebnisses und eines zweiten Bildverarbeitungsergebnisses, das ein Ergebnis der an dem Zielbild ausgeführten Bildverarbeitung ist, erfasst.
Bildverarbeitungssystem nach Anspruch 1, wobei, wenn die Verarbeitungslast gleich oder kleiner als die vorbestimmte Last ist, die erste Bildverarbeitungseinheit eingerichtet ist, die Bildverarbeitung an dem Bild auszuführen, und die Übertragungseinheit eingerichtet ist, ein Ergebnis der an dem Bild ausgeführten Bildverarbeitung an die Endgeräteinrichtung zu übertragen.
Bildverarbeitungssystem nach Anspruch 1 oder 2, wobei das Zielbild ein Bild ist, das nach dem Trennen des verarbeitbaren Bildes von dem Bild verbleibt.
Bildverarbeitungssystem nach einem der Ansprüche 1 bis 3, wobei die Teilungsverarbeitungseinheit eingerichtet ist, das verarbeitbare Bild von dem Bild zu trennen, damit die an dem verarbeitbaren Bild ausgeführte Bildverarbeitung innerhalb einer vorbestimmten Zeit abgeschlossen werden kann.
Bildverarbeitungssystem nach einem der Ansprüche 1 bis 4, wobei, die Abbildungseinheit eingerichtet ist, das Bild aufzunehmen, um ein oder mehrere Objekte in das Bild aufzunehmen, und die Teilungsverarbeitungseinheit eingerichtet ist, zu bestimmen, dass die Verarbeitungslast größer als die vorbestimmte Last ist, wenn die Anzahl der Subjekte größer als ein Schwellenwert ist, wobei die Subjekte das eine oder die mehreren Subjekte sind.
Bildverarbeitungssystem nach Anspruch 5, wobei die Teilungsverarbeitungseinheit eingerichtet ist, das verarbeitbare Bild von dem Bild so zu trennen, dass die Anzahl der in dem verarbeitbaren Bild enthaltenen Motive von dem einen oder den mehreren Motiven eine vorbestimmte Anzahl ist.
Bildverarbeitungssystem nach Anspruch 6, wobei die Teilungsverarbeitungseinheit eingerichtet ist, das verarbeitbare Bild von dem Bild so zu trennen, dass die vorbestimmte Anzahl von Objekten aus dem einen oder den mehreren Objekten in dem verarbeitbaren Bild in der Reihenfolge von einem Objekt nahe der Abbildungseinheit enthalten ist.
Bildverarbeitungssystem nach einem der Ansprüche 1 bis 7, wobei die Teilungsverarbeitungseinheit eingerichtet ist, auf der Grundlage eines Ergebnisses der Ausführung einer Vorverarbeitung, die für die Ausführung der Bildverarbeitung an dem Bild erforderlich ist, zu bestimmen, ob die Verarbeitungslast größer als die vorbestimmte Last ist oder nicht.
Bildgebungsvorrichtung, umfassend: eine Abbildungseinheit, die eingerichtet ist, ein Bild aufzunehmen und Bilddaten zu erzeugen, die das Bild anzeigen; eine Teilungsverarbeitungseinheit, die eingerichtet ist, das Bild in ein verarbeitbares Bild und ein Zielbild aufzuteilen, wenn die Verarbeitungslast der an dem Bild auszuführenden Bildverarbeitung größer als eine vorbestimmte Last ist; eine Bildverarbeitungseinheit, die eingerichtet ist, die Bildverarbeitung an dem verarbeitbaren Bild durchzuführen; und eine Übertragungseinheit, die eingerichtet ist, ein Bildverarbeitungsergebnis und Zielbilddaten, die das Zielbild anzeigen, an eine Endgeräteinrichtung zu übertragen, wobei das Bildverarbeitungsergebnis ein Ergebnis der an dem verarbeitbaren Bild ausgeführten Bildverarbeitung ist.