DE112019006414T5

DE112019006414T5 - Vorrichtung und Verfahren zur Detektion von Menschen

Info

Publication number: DE112019006414T5
Application number: DE112019006414.2T
Authority: DE
Inventors: Kiyoaki Tanaka; Ayana Tsuji; Jumpei Matsunaga
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2018-12-26
Filing date: 2019-11-08
Publication date: 2021-09-16
Also published as: CN113168694A; US20220004749A1; CN113168694B; US11983951B2; JP7255173B2; JP2020106970A; WO2020137193A1

Abstract

Eine Personendetektionsvorrichtung, die eingerichtet ist, ein Fischaugenbild zu analysieren, das von einer Fischaugenkamera erhalten wird, die über einem zu detektierenden Bereich installiert ist, um eine Person zu detektieren, die in dem zu detektierenden Bereich existiert, umfasst einen Kopfdetektor, der eingerichtet ist, mindestens einen Kandidaten für einen Kopf aus dem Fischaugenbild zu detektieren, indem ein Algorithmus zum Detektieren eines menschlichen Kopfes verwendet wird, einen Detektor für den menschlichen Körper, der eingerichtet ist, mindestens einen Kandidaten für den menschlichen Körper aus dem Fischaugenbild unter Verwendung eines Algorithmus zum Erkennen eines menschlichen Körpers zu erkennen, und eine Bestimmungseinheit, die eingerichtet ist, ein Paar, das aus Paaren des Kopfkandidaten und des Kandidaten für den menschlichen Körper eine vorgegebene Bedingung erfüllt, die aus einer Kombination eines Erkennungsergebnisses des Kopfdetektors und eines Erkennungsergebnisses des Detektors für den menschlichen Körper gebildet werden, als eine Person zu bestimmen.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erkennung einer Person unter Verwendung eines von einer Fischaugenkamera aufgenommenen Bildes.
STAND DER TECHNIK
In den Bereichen Gebäudeautomation (BA) und Fabrikautomation (FA) wird eine Anwendung benötigt, die automatisch die „Anzahl“, „Position“, „Fließlinie“ und ähnliches von Personen mit einem Bildsensor misst und Geräte wie Beleuchtung oder Klimaanlage optimal steuert. Um in einer solchen Anwendung Bildinformationen über einen möglichst großen Bereich zu erfassen, wird häufig eine Ultraweitwinkelkamera mit einem Fischaugenobjektiv verwendet (auch als Fischaugenkamera, Rundumkamera oder 360-Grad-Kamera bezeichnet, wobei der Begriff „Fischaugenkamera“ (Fisheye-Kamera) hier jeweils gleichbedeutend ist).
Ein mit einer solchen Fischaugenkamera aufgenommenes Bild ist stark verzerrt. Um einen menschlichen Körper, ein Gesicht oder Ähnliches aus dem von der Fischaugenkamera aufgenommenen Bild (im Folgenden als „Fischaugenbild“ bezeichnet) zu erkennen, wird daher üblicherweise ein Verfahren verwendet, bei dem das Fischaugenbild vorab in einer Ebene entwickelt wird, um die Verzerrung so weit wie möglich zu beseitigen, und dann der Erkennungsverarbeitung unterzogen wird (siehe Patentdokument 1).
Patentdokument 1: Japanische ungeprüfte Patentveröffentlichung Nr. 2016-39539
ÜBERBLICK ÜBER DIE ERFINDUNG
AUFGABEN, DIE DURCH DIE ERFINDUNG GELÖST WERDEN SOLLEN
Der einschlägige Stand der Technik hat jedoch die folgenden Probleme. Eines der Probleme ist ein Anstieg der Gesamtverarbeitungskosten aufgrund der Vorverarbeitung der Entwicklung des Fischaugenbildes in einer Ebene. Dies erschwert die Verarbeitung der Erkennung in Echtzeit und kann zu Verzögerungen bei der Gerätesteuerung führen, was nicht wünschenswert ist. Das andere Problem ist das Risiko einer falschen Erkennung aufgrund einer signifikanten Verformung oder Teilung, die durch die Verarbeitung während der Entwicklung der Ebene verursacht wird, eines Bildes einer Person oder eines Objekts, das zum Zeitpunkt der Entwicklung der Ebene an einer Grenze (Bildbruch) vorhanden ist, wie z. B. direkt unterhalb der Fischaugenkamera.
Um diese Probleme zu vermeiden, haben die gegenwärtigen Erfinder einen Ansatz untersucht, bei dem das Fischaugenbild, so wie es ist (d. h. „ohne Ebenenentwicklung“), der Erkennungsverarbeitung unterzogen wird. Im Vergleich zu einem Bild, das mit einer normalen Kamera aufgenommen wurde, weist das Fischaugenbild jedoch große Variationen des Aussehens einer zu erkennenden Person auf (Neigung, Verzerrung, Größe des menschlichen Körpers), was die Erkennung erschwert. Insbesondere bei einer Anwendung wie BA oder FA gibt es viele Objekte wie z. B. einen Stuhl, einen Personal-Computer, einen Mülleimer, einen elektrischen Ventilator und einen Umwälzthermostaten, die dazu neigen, als menschlicher Körper oder Kopf im Bild fehlinterpretiert zu werden, was zu einer Verringerung der Erkennungsgenauigkeit führt.
Die vorliegende Erfindung wurde in Anbetracht der oben beschriebenen Umstände gemacht, und es ist daher ein Ziel der vorliegenden Erfindung, ein Verfahren zur Erkennung einer Person aus einem Fischaugenbild mit hoher Geschwindigkeit und mit hoher Genauigkeit bereitzustellen.
MITTEL ZUR LÖSUNG DER AUFGABE
Die vorliegende Erfindung verwendet die folgende Konfiguration, um das oben beschriebene Ziel zu erreichen.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird eine Personendetektionsvorrichtung bereitgestellt, die eingerichtet ist, ein Fischaugenbild zu analysieren, das von einer Fischaugenkamera erhalten wird, die über einem zu detektierenden Bereich installiert ist, um eine Person zu detektieren, die in dem zu detektierenden Bereich existiert, wobei die Personendetektionsvorrichtung einen Kopfdetektor enthält, der eingerichtet ist, um mindestens einen Kandidaten für einen Kopf aus dem Fischaugenbild zu detektieren, indem ein Algorithmus zur Detektion eines menschlichen Kopfes verwendet wird, einen Detektor für menschliche Körper, der eingerichtet ist, mindestens einen Kandidaten für menschliche Körper aus dem Fischaugenbild unter Verwendung eines Algorithmus zum Erfassen von menschlichen Körpern erfasst, und eine Bestimmungseinheit, die eingerichtet ist, als eine Person ein Paar zu bestimmen, das eine vorgegebene Bedingung unter Paaren des Kopfkandidaten und des Kandidaten für menschliche Körper erfüllt, die aus einer Kombination eines Erfassungsergebnisses des Kopfdetektors und eines Erfassungsergebnisses des Detektors für menschliche Körper gebildet wird.
Die „Fischaugenkamera“ ist eine Kamera, die mit einem Fischaugen-Objektiv ausgestattet ist und in der Lage ist, im Vergleich zu einer normalen Kamera ein Bild mit einem ultraweiten Winkel aufzunehmen. Beispiele für die Fischaugenkamera sind eine Rundumkamera und eine 360-Grad-Kamera. Die Fischaugenkamera kann derart installiert werden, dass sie von oberhalb des zu erfassenden Bereichs nach unten gerichtet ist. Typischerweise wird die Fischaugenkamera so installiert, dass ihre optische Achse vertikal nach unten gerichtet ist, jedoch kann die optische Achse der Fischaugenkamera in Bezug auf die vertikale Richtung geneigt sein. Der „Algorithmus zum Erkennen eines menschlichen Kopfes“ und der „Algorithmus zum Erkennen eines menschlichen Körpers“ unterscheiden sich voneinander dadurch, dass ersterer nur zum Erkennen eines Kopfes und letzterer nur zum Erkennen eines menschlichen Körpers verwendet wird. Dabei kann der „menschliche Körper“ der ganze Körper einer Person oder der halbe Körper (wie z. B. ein Oberkörper, ein Kopf oder ein Torso) sein.
Erfindungsgemäß wird das Fischaugenbild nicht in einer Ebene entwickelt, was eine Hochgeschwindigkeits-Erkennungsverarbeitung ermöglicht. Nur wenn sowohl der Kopf als auch der Körper aus dem Bild erkannt werden und eine vorgegebene Bedingung erfüllen, werden der Kopf und der Körper als „Person“ bestimmt, was eine sehr genaue Erkennung ermöglicht.
Die vorgegebene Bedingung kann eine Bedingung in Bezug auf die relativen Positionen des Kopfkandidaten und des Kandidaten für einen menschlichen Körper umfassen. Das von der Fischaugenkamera erhaltene Fischaugenbild weist hinsichtlich einer Positionsbeziehung zwischen einem Kopfbereich und einem Bereich des menschlichen Körpers eine feste Gesetzmäßigkeit auf, wodurch die Gültigkeit (Wahrscheinlichkeit, dass es sich um eine Person handelt) des Paares anhand der relativen Positionen des Kopfbereichs und des Bereichs des menschlichen Körpers bestimmt werden kann. Insbesondere kann die vorgegebene Bedingung eine Bedingung dahingehend umfassen, dass ein Bereich des Kopfkandidaten und ein Bereich des Kandidaten für einen menschlichen Körper einander überlappen. Die vorgegebene Bedingung kann eine Bedingung dahingehend umfassen, dass sich der Kandidat für den menschlichen Körper an Koordinaten befindet, die näher an einem Zentrum des Fischaugenbildes liegen als der Kopfkandidat.
Die vorgegebene Bedingung kann eine Bedingung in Bezug auf die relativen Größen des Kopfkandidaten und des Kandidaten für einen menschlichen Körper umfassen. Die Größen eines Kopfes und eines menschlichen Körpers in einem Fischaugenbild, das von einer feststehenden Kamera aufgenommen wurde, können im Voraus geschätzt werden, wodurch die Gültigkeit (Wahrscheinlichkeit, dass es sich um eine Person handelt) des Paares anhand der relativen Größen des Kopfkandidaten und des Kandidaten für einen menschlichen Körper bestimmt werden kann. Insbesondere kann die vorgegebene Bedingung eine Bedingung dahingehend umfassen, dass ein Größenverhältnis zwischen dem Kopfkandidaten und dem Kandidaten für einen menschlichen Körper in einen vorgegebenen Bereich fällt. Die Bestimmungseinheit kann den vorgegebenen Bereich in Übereinstimmung mit den Koordinaten des Kopfkandidaten oder des Kandidaten für den Körper auf dem Fischaugenbild ändern.
Der Detektor für den Kopf kann für jeden erkannten Kopfkandidaten eine Erkennungszuverlässigkeit ausgeben, der Detektor für den Körper kann für jeden erkannten Körperkandidaten eine Erkennungszuverlässigkeit ausgeben, und die vorgegebene Bedingung kann eine Bedingung bezüglich der Zuverlässigkeit des Kopfkandidaten und der Zuverlässigkeit des Kandidaten für den Körper umfassen. Dies ermöglicht eine Erhöhung der Zuverlässigkeit eines endgültigen Erkennungsergebnisses, d. h. eine Erhöhung der Erkennungsgenauigkeit.
Zum Beispiel kann die Bestimmungseinheit die Gesamtzuverlässigkeit anhand der Zuverlässigkeit des Kopfkandidaten und der Zuverlässigkeit des Kandidaten für den menschlichen Körper erhalten, und die vorgegebene Bedingung kann eine Bedingung umfassen, dass die Gesamtzuverlässigkeit größer als ein Schwellenwert ist. Die Gesamtzuverlässigkeit kann ein beliebiger Index sein, solange er eine Funktion der Zuverlässigkeit des Kopfkandidaten und der Zuverlässigkeit des Kandidaten für menschliche Körper ist. Zum Beispiel kann die Summe, der einfache Durchschnitt oder der gewichtete Durchschnitt der Zuverlässigkeit des Kopfkandidaten und der Zuverlässigkeit des Kandidaten für Körper verwendet werden.
Die Bestimmungseinheit kann eine Gewichtung der Zuverlässigkeit des Kopfkandidaten und eine Gewichtung der Zuverlässigkeit des Kandidaten für menschliche Körper ändern, um die Gesamtzuverlässigkeit in Übereinstimmung mit den Koordinaten des Kopfkandidaten oder des Kandidaten für menschliche Körper auf dem Fischaugenbild zu erhalten. In einem Fall, in dem sich eine Person direkt unter der Kamera befindet, erscheint beispielsweise der Kopf, aber für den menschlichen Körper erscheinen nur die beiden Schultern, was die Erkennung des menschlichen Körpers im Vergleich zum Kopf erschwert. Wie oben beschrieben, ändert sich in Abhängigkeit von den Koordinaten auf dem Bild, welcher von Kopfkandidaten und Körperkandidaten tendenziell eine höhere Zuverlässigkeit aufweist, und es ist daher möglich, die Genauigkeit der endgültigen Bestimmung zu erhöhen, wenn das Merkmal bei der Ermittlung der Gesamtzuverlässigkeit berücksichtigt wird.
Ist entweder die Zuverlässigkeit des Kopfkandidaten oder die Zuverlässigkeit des Kandidaten menschlichen Körperkandidaten hoch genug, so kann die Bestimmungseinheit die Bedingung hinsichtlich der Zuverlässigkeit des anderen weniger restriktiv einstellen (machen). Denn wenn die Zuverlässigkeit eines der Kopfkandidaten oder des Kandidaten für den menschlichen Körper hoch genug ist, ist es denkbar, dass die Wahrscheinlichkeit, dass es sich um eine Person handelt, hoch ist (auch wenn die Zuverlässigkeit der Erkennung des anderen ein wenig niedrig ist).
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Personendetektionsverfahren zum Analysieren eines Fischaugenbildes bereitgestellt, das von einer über einem zu detektierenden Bereich installierten Fischaugenkamera erhalten wird, um eine in dem zu detektierenden Bereich vorhandene Person zu detektieren, wobei das Personendetektionsverfahren die folgenden Schritte umfasst: Detektieren mindestens eines Kopfkandidaten aus dem Fischaugenbild unter Verwendung eines Algorithmus zum Detektieren eines menschlichen Kopfes, Erfassen mindestens eines Kandidaten für einen menschlichen Körper aus dem Fischaugenbild unter Verwendung eines Algorithmus zum Erfassen eines menschlichen Körpers, und Bestimmen eines Paares, das eine vorgegebene Bedingung unter Paaren von Kopfkandidaten und Kandidaten für einen menschlichen Körper erfüllt, die aus einer Kombination eines Erfassungsergebnisses aus dem Schritt des Erfassens mindestens eines Kopfkandidaten und eines Erfassungsergebnisses aus dem Schritt des Erfassens mindestens eines Kandidaten für einen menschlichen Körper gebildet ist, als eine Person.
Die vorliegende Erfindung kann als eine Personendetektionsvorrichtung, die zumindest einige der oben beschriebenen Komponenten umfasst, eine Personenerkennungsvorrichtung, die eine erkannte Person erkennt (identifiziert), eine Personenverfolgungsvorrichtung, die eine erkannte Person verfolgt, eine Bildverarbeitungsvorrichtung oder ein Überwachungssystem angesehen werden. Ferner kann die vorliegende Erfindung als ein Personendetektionsverfahren, ein Personenerkennungsverfahren, ein Personenverfolgungsverfahren, ein Bildverarbeitungsverfahren oder ein Überwachungsverfahren angesehen werden, die jeweils zumindest einige der oben beschriebenen Verfahren umfassen. Weiter kann die vorliegende Erfindung als ein Programm zur Implementierung eines solchen Verfahrens oder ein nicht-flüchtiges Aufzeichnungsmedium, das das Programm aufzeichnet, betrachtet werden. Es ist zu beachten, dass die oben beschriebenen Einheiten und Verfahren in zulässigem Umfang miteinander kombiniert werden können, um die vorliegende Erfindung zu bilden.
WIRKUNG DER ERFINDUNG
Erfindungsgemäß kann eine Person aus einem Fischaugenbild mit hoher Geschwindigkeit und hoher Genauigkeit erkannt werden.
Figurenliste

1 ist eine Ansicht, die ein erfindungsgemäßes Anwendungsbeispiel einer Personendetektionsvorrichtung zeigt.
2 ist eine Ansicht, die den Aufbau eines Überwachungssystems mit der Personendetektionseinrichtung zeigt.
3 ist eine Ansicht, die ein Beispiel für ein Fischaugenbild zeigt.
4 ist ein Flussdiagramm zur Verarbeitung der Personenerkennung.
5 ist eine Ansicht, die ein Beispiel für ein Ergebnis der Kopferkennung zeigt.
6 ist eine Ansicht, die ein Beispiel zeigt, bei dem ein Ergebnis der Körpererkennung mit dem Ergebnis der Kopferkennung überlagert wird.
7 eine Ansicht, die ein Beispiel für ein endgültiges Bestimmungsergebnis (Personenerkennungsergebnis) zeigt.
8 ist ein Flussdiagramm der Paarungsverarbeitung basierend auf einer relativen Position.
9 ist ein Flussdiagramm der Paarungsverarbeitung basierend auf einer relativen Größe.
10 ist eine Ansicht, die ein Beispiel zeigt, bei dem die Verarbeitung in Abhängigkeit von einer Position auf einem Bild geändert wird.

MODUS ZUR AUSFÜHRUNG DER ERFINDUNG
<Anwendungsbeispiel>
Ein Anwendungsbeispiel einer erfindungsgemäßen Personendetektionsvorrichtung wird unter Bezugnahme auf 1 beschrieben. Eine Personendetektionsvorrichtung 1 analysiert ein Fischaugenbild, das von einer oberhalb eines zu detektierenden Bereichs 11 (z.B. an einer Decke 12) installierten Fischaugenkamera 10 aufgenommen wurde, um eine im zu detektierenden Bereich 11 befindliche Person 13 zu erkennen. Die Personendetektionseinrichtung 1 detektiert, erkennt und verfolgt die Person 13, die den zu detektierenden Bereich 11 durchläuft, z. B. in einem Büro oder einer Fabrik. Ein Erfassungsergebnis der Personendetektionseinrichtung 1 wird an ein externes Gerät ausgegeben, um z. B. die Anzahl der Personen zu zählen, verschiedene Geräte wie Beleuchtung und Klimaanlage zu steuern und eine verdächtige Person zu überwachen.
Die Personendetektionsvorrichtung 1 ist dadurch gekennzeichnet, dass sie in der Lage ist, das Fischaugenbild so wie es ist (d. h. ohne Vorverarbeitung wie z. B. Ebenenentwicklung oder Beseitigung von Verzerrungen) für die Personendetektionsverarbeitung zu verwenden. Dies ermöglicht eine sehr schnelle Erkennungsverarbeitung (Echtzeitleistung). Die Personendetektionsvorrichtung 1 ist weiterhin dadurch gekennzeichnet, dass sie in der Lage ist, eine Kopfdetektion und eine Detektion menschlicher Körper auf dem Fischaugenbild durchzuführen, um eine endgültige Bestimmung (Bestimmung, ob es sich um eine Person handelt) anhand einer Kombination des Ergebnisses der Kopfdetektion und des Ergebnisses der Detektion menschlicher Körper durchzuführen. Dabei ermöglicht die Paarung von Kopf und menschlichem Körper und die Bewertung der Zuverlässigkeit unter Berücksichtigung der Eigenschaften des Fischaugenbildes eine sehr genaue Erkennung.
<Überwachungssystem>
Eine Beschreibung der erfindungsgemäßen Ausführungsform wird unter Bezugnahme auf 2 angegeben. 2 ist ein Blockdiagramm, das den Aufbau eines Überwachungssystems zeigt, in dem die Personendetektionsvorrichtung nach der erfindungsgemäßen Ausführungsform eingesetzt wird. Ein Überwachungssystem 2 umfasst im Wesentlichen die Fischaugenkamera 10 und die Personendetektionsvorrichtung 1.
Die Fischaugenkamera 10 ist eine Abbildungsvorrichtung, die ein optisches System mit einem Fischaugen-Objektiv und einem Abbildungselement (einem Bildsensor wie einem CCD oder CMOS) umfasst. Wie in 1 gezeigt, kann die Fischaugenkamera 10 z. B. an der Decke 12 des zu erfassenden Bereichs 11 installiert werden, wobei die optische Achse senkrecht nach unten gerichtet ist, um ein omnidirektionales (360-Grad-) Bild des zu erfassenden Bereichs 11 aufzunehmen. Die Fischaugenkamera 10 ist mit der Personenerkennungsvorrichtung 1 über ein Kabel (z. B. ein USB-Kabel oder ein LAN-Kabel) oder über Funk (z. B. WiFi) verbunden, und die Personenerkennungsvorrichtung 1 erfasst die von der Fischaugenkamera 10 aufgenommenen Bilddaten. Die Bilddaten können entweder ein monochromes Bild oder ein Farbbild sein, und die Auflösung, die Bildrate und das Format der Bilddaten werden nach Wunsch festgelegt. Gemäß der Ausführungsform wird davon ausgegangen, dass ein monochromes Bild, das mit 10 fps (10 Bilder pro Sekunde) aufgenommen wurde, verwendet wird.
3 zeigt ein Beispiel für ein Fischaugenbild, das von der Fischaugenkamera 10 aufgenommen wurde, Ist die Fischaugenkamera 10 mit einer vertikal nach unten gerichteten optischen Achse installiert ist, erscheint in der Draufsicht ein Bild einer Person, die sich direkt unterhalb der Fischaugenkamera 10 befindet, in der Mitte des Fischaugenbildes. Dann wird ein Einfallwinkel in Richtung eines Randes des Fischaugenbildes kleiner, und ein Bild der Person erscheint in der Schrägansicht von oben. Außerdem ist die Mitte des Fischaugenbildes weniger anfällig für Verzerrungen, und die Bildverzerrung nimmt zum Rand des Fischaugenbildes hin zu. Wie im Abschnitt STAND DER TECHNIK beschrieben, wird im einschlägigen Stand der Technik ein flächig entwickeltes Bild erstellt, das aus der Beseitigung der Verzerrung des Fischaugenbildes resultiert, und dann wird eine Bildverarbeitung, wie z. B. Erkennung oder Erkennungsverarbeitung, ausgeführt, jedoch führt das Überwachungssystem 2 gemäß der Ausführungsform die Erkennung oder Erkennungsverarbeitung auf dem Fischaugenbild aus, wie es ist (links verzerrt), wie in 3 gezeigt. Dadurch entfällt die Notwendigkeit einer Vorverarbeitung, wie z. B. die Beseitigung von Verzerrungen, und ermöglicht so eine Überwachung in Echtzeit.
Zurückkommend auf 2 wird eine Beschreibung der Personendetektionsvorrichtung 1 angegeben. Die Personendetektionsvorrichtung 1 gemäß der Ausführungsform umfasst eine Bilderfassungseinheit 20, einen Kopfdetektor 22, einen Detektor 24 für menschliche Körper, eine Bestimmungseinheit 26, einen Speicher 27 und eine Ausgabeeinheit 28. Der Kopfdetektor 22 und der Detektor 24 für menschliche Körper werden auch gemeinsam als „Detektor 21“ bezeichnet. Die Bilderfassungseinheit 20 ist in der Lage, die Bilddaten von der Fischaugenkamera 10 zu erfassen. Die so erfassten Bilddaten werden in dem Speicher 27 gespeichert. Der Kopfdetektor 22 ist in der Lage, einen Kopfkandidaten aus dem Fischaugenbild zu erkennen, indem er einen Algorithmus zur Erkennung eines menschlichen Kopfes verwendet. Ein Kopferkennungsverzeichnis 23 ist ein Verzeichnis, in dem Bildmerkmale von Köpfen, die im Fischaugenbild erscheinen, im Voraus registriert werden. Der Detektor 24 für menschliche Körper ist in der Lage, einen Kandidaten für menschliche Körper aus dem Fischaugenbild zu erkennen, indem ein Algorithmus zur Erkennung eines menschlichen Körpers verwendet wird. Ein Verzeichnis 25 zur Erkennung menschlicher Körper ist ein Verzeichnis, in dem Bildmerkmale menschlicher Körper, die im Fischaugenbild erscheinen, im Voraus registriert werden. Die Bestimmungseinheit 26 kann anhand des Erkennungsergebnisses des Kopfdetektors 22 und des Erkennungsergebnisses des Detektor 24 für menschliche Körper bestimmen, ob es sich um eine im Fischaugenbild vorhandene „Person“ handelt. Der Speicher 27 ist in der Lage, das Fischaugenbild, das Erkennungsergebnis, das Bestimmungsergebnis und dergleichen zu speichern. Die Ausgabeeinheit 28 ist in der Lage, Informationen wie das Fischaugenbild, das Erfassungsergebnis oder das Bestimmungsergebnis an eine externe Vorrichtung auszugeben. Beispielsweise kann die Ausgabeeinheit 28 Informationen auf einem Display anzeigen, das als externe Vorrichtung dient, Informationen an einen Computer übertragen, der als externe Vorrichtung dient, oder Informationen oder ein Steuersignal an eine Beleuchtungsvorrichtung, eine Klimaanlage oder eine FA-Vorrichtung senden, die als externe Vorrichtung dient.
Die Personendetektionsvorrichtung 1 kann z. B. ein Computer mit einer CPU (Prozessor), einem Hauptspeicher, einem Speicher oder dergleichen sein. Dadurch wird die in 2 gezeigte Struktur durch Laden eines im Speicher abgelegten Programms in den Hauptspeicher und Ausführen des Programms durch die CPU realisiert. Ein solcher Computer kann ein Allzweckcomputer wie ein Personal-Computer, ein Servercomputer, ein Tablet-Terminal oder ein Smartphone sein, oder alternativ ein eingebetteter (embedded) Computer wie ein Bordcomputer. Alternativ kann die gesamte oder ein Teil der in 2 gezeigten Struktur durch einen ASIC, ein FPGA oder dergleichen implementiert werden. Alternativ kann die gesamte oder ein Teil der in 2 dargestellten Struktur durch Cloud-Computing oder verteiltes Computing implementiert werden.
<Personenerkennungsverarbeitung>
4 ist ein Flussdiagramm der Personendetektionsverarbeitung, die vom Überwachungssystem 2 ausgeführt wird. Anhand von 4 wird der Gesamtablauf der Personendetektionsverarbeitung beschrieben. Es sollte beachtet werden, dass das in 4 gezeigte Flussdiagramm die Verarbeitung des Fischaugenbildes für ein Einzelbild zeigt. Wenn das Fischaugenbild mit 10 fps aufgenommen wird, wird die in 4 gezeigte Verarbeitung 10 Mal pro Sekunde ausgeführt.
Zunächst nimmt die Bilderfassungseinheit 20 das Fischaugenbild als ein Bild („Frame“) der Fischaugenkamera 10 auf (Schritt S40). 3 ist ein Beispiel für das derart aufgenommene Fischaugenbild. Auf dem Fischaugenbild sind fünf Personen zu sehen.
Als nächstes detektiert der Kopfdetektor 22 einen menschlichen Kopf aus dem Fischaugenbild (Schritt S41). Sind mehrere Personen im Fischaugenbild vorhanden, so werden mehrere menschliche Köpfe erkannt. Außerdem kann in vielen Fällen ein Nicht-Kopf-Objekt (z. B. ein Ball, ein Personal-Computer, ein Zirkulator oder ein runder Stuhl, der in Form oder Farbe einem menschlichen Kopf ähnelt) fälschlicherweise erkannt werden. Das Erkennungsergebnis des Kopfdetektors 22 kann ein solches Nicht-Kopf-Objekt enthalten; daher wird das Erkennungsergebnis in diesem Stadium als „Kopfkandidat“ bezeichnet. Das Erkennungsergebnis kann z. B. ein tangentiales Viereck (auch als „Begrenzungsrahmen“ bezeichnet) des so erkannten Kopfkandidaten und die Erkennungssicherheit (Wahrscheinlichkeit, dass es sich um einen Kopf handelt) umfassen. 5 ist ein Beispiel für das Ergebnis der Kopfdetektion. Die Kennziffer 50 bezeichnet die Begrenzungsrahmen. In diesem Beispiel wurden neben den menschlichen Köpfen 51, 52, 53, 54, 55 auch Nicht-Kopf-Objekte 56, 57 als Kopfkandidaten erkannt. Beachten Sie, dass ein beliebiger Algorithmus auf die Kopferkennung angewendet werden kann. Beispielsweise kann ein Klassifikator eingesetzt werden, der eine Kombination aus Bildmerkmalen wie HoG oder Haar-ähnlich und Boosting ist, oder es kann eine auf Deep Learning basierende Kopferkennung (z. B. R-CNN, Fast R-CNN, YOLO, SSD o. ä.) eingesetzt werden.
Als nächstes erkennt der Detektor 24 für menschliche Körper einen menschlichen Körper aus dem Fischaugenbild (Schritt S42). Sind mehrere Personen im Fischaugenbild vorhanden sind, wird eine Anzahl menschlicher Körper erkannt. Außerdem kann in vielen Fällen ein Objekt, das kein menschlicher Körper ist (z. B. ein elektrischer Ventilator, ein Schreibtischstuhl oder ein Garderobenständer, der in Form oder Farbe einem menschlichen Körper ähnelt), fälschlicherweise erkannt werden. Das Erkennungsergebnis des Detektors 24 für menschliche Körper kann ein solches nicht-menschliches Körperobjekt enthalten; daher wird das Erkennungsergebnis in diesem Stadium als „Kandidat für menschliche Körper“ bezeichnet. Das Erkennungsergebnis kann z. B. ein tangentiales Viereck (auch als „Begrenzungsrahmen“ bezeichnet) des so erkannten Kandidaten für menschliche Körper und die Erkennungssicherheit (Wahrscheinlichkeit, dass es sich um einen menschlichen Körper handelt) umfassen. 6 ist eine Ansicht, die ein Beispiel zeigt, bei dem das Ergebnis der menschlichen Körperdetektion mit dem Ergebnis der Kopfdetektion überlagert ist. Die Bezugsziffer 60 bezeichnet die Begrenzungsrahmen des Kandidaten für menschliche Körper. In diesem Beispiel wurden zusätzlich zu den menschlichen Körpern 61, 62, 63, 64, 65 auch nicht-menschliche Körperobjekte 66, 67 als Kandidaten für menschliche Körper erkannt. Es ist zu beachten, dass ein beliebiger Algorithmus auf die Erkennung menschlicher Körper angewendet werden kann. Beispielsweise kann ein Klassifikator, der eine Kombination aus Bildmerkmalen wie HoG oder Haar-ähnlich und Boosting ist, eingesetzt werden, oder die Erkennung des menschlichen Körpers basierend auf Deep Learning (z. B. R-CNN, Fast R-CNN, YOLO, SSD oder ähnliches) kann eingesetzt werden. Gemäß der Ausführungsform wird der gesamte Körper einer Person als menschlicher Körper erkannt, aber die vorliegende Erfindung ist nicht auf eine solche Erkennung beschränkt, und es kann auch ein Teil des Körpers, wie z. B. der Oberkörper, erkannt werden.
Es ist zu beachten, dass die Kopfdetektion und die Detektion von menschlichen Körpern derart unabhängig voneinander durchgeführt werden, dass die Detektion von menschlichen Körpern und die Kopfdetektion in dieser Reihenfolge nacheinander durchgeführt werden können oder die Kopfdetektion und die Detektion von menschlichen Körpern parallel durchgeführt werden können.
Als nächstes paart die Bestimmungseinheit 26 den Kopfkandidaten und den Kandidaten für menschliche Körper (Schritt S43). Zum Beispiel wählt die Bestimmungseinheit 26 aus 49 Paaren von sieben Kopfkandidaten 51 bis 57 und sieben Körperkandidaten 61 bis 67, die in 6 gezeigt sind, nur ein Paar aus, das eine vorgegebene Paarungsbedingung (Pairing-Bedingung) erfüllt. Die Details der Paarungsbedingung und der Paarungsbearbeitung werden später beschrieben.
Als nächstes ermittelt die Bestimmungseinheit 26 die Zuverlässigkeit jedes in Schritt S43 erhaltenen Paares (Schritt S44). Die Zuverlässigkeit des Paares ist ein Grad der Wahrscheinlichkeit, dass das Paar (der Kopfkandidat und der Kandidat für menschliche Körper) einen tatsächlichen menschlichen Kopf und Körper anzeigt (Wahrscheinlichkeit, eine Person zu sein). Die Details der Zuverlässigkeit werden später beschrieben.
Als nächstes extrahiert die Bestimmungseinheit 26 aus einer Vielzahl der in Schritt S43 erhaltenen Paare nur ein Paar, das eine vorgegebene Zuverlässigkeitsbedingung erfüllt (Schritt S45). Dann bestimmt die Bestimmungseinheit 26 schließlich, dass es sich bei dem so extrahierten Paar (die Kombination aus Kopfkandidat und Kandidat für menschliche Körper) um eine „Person“ handelt und speichert das Bestimmungsergebnis im Speicher 27. Das Bestimmungsergebnis kann z.B. Informationen enthalten wie die Position und Größe des tangentialen Vierecks (Begrenzungsrahmen), das den Kopfkandidaten und den Kandidaten für menschliche Körper umgibt, die Zuverlässigkeit des Paares und dergleichen. 7 ist ein Beispiel für das endgültige Bestimmungsergebnis (Personenerkennungsergebnis).
Schließlich gibt die Ausgabeeinheit 28 das in Schritt S45 erhaltene Bestimmungsergebnis an das externe Gerät aus (Schritt S46). Damit ist die Verarbeitung des Fischaugenbildes für ein Bild beendet.
Bei der Personendetektionsverarbeitung gemäß der Ausführungsform wird das Fischaugenbild analysiert, wie es ist, und eine Person wird direkt aus dem Fischaugenbild erkannt. Dadurch entfällt die Notwendigkeit einer Vorverarbeitung, wie z. B. die Ebenenentwicklung des Fischaugenbildes oder die Beseitigung von Verzerrungen aus dem Fischaugenbild, was eine sehr schnelle Verarbeitung der Personendetektion ermöglicht. Das Verfahren, bei dem das Fischaugenbild als solches für die Erkennungsverarbeitung verwendet wird, hat den Nachteil, dass die Erkennungsgenauigkeit des Verfahrens geringer ist als die des Verfahrens, bei dem die Erkennungsverarbeitung nach der Ebenenentwicklung (der Beseitigung der Verzerrung) ausgeführt wird; gemäß der Ausführungsform wird jedoch eine Logik verwendet, bei der sowohl der Kopf als auch der menschliche Körper aus dem Fischaugenbild erkannt werden, und wenn eine vorgegebene Bedingung erfüllt ist, werden der Kopf und der menschliche Körper als „Person“ bestimmt, wodurch die Erkennung mit einer signifikant hohen Genauigkeit durchgeführt werden kann.
Es sollte beachtet werden, dass gemäß der Ausführungsform zwei Bedingungen, die Paarungsbedingung und die Zuverlässigkeitsbedingung, als die vorgegebenen Bedingungen verwendet werden, kann indes nur eine der beiden Bedingungen eine ausreichende Genauigkeit gewährleisten, so kann die Bedingung allein verwendet werden. Alternativ kann auch eine andere Bedingung als die Paarungsbedingung oder die Zuverlässigkeitsbedingung verwendet werden.
<Paarung>
Es wird ein konkretes Beispiel für die von der Bestimmungseinheit 26 ausgeführte Paarungsverarbeitung und die Paarungsbedingung beschrieben.
Paarung basierend auf der relativen Position
Da das Fischaugenbild schräg aufgenommen wird, um eine Person aus der Vogelperspektive darzustellen, überlappen sich, wie in 6 gezeigt, ein Kopfbereich (Begrenzungsrahmen) und ein Bereich des menschlichen Körpers (Begrenzungsrahmen). Befindet sich eine Person direkt unter der Kamera (d. h. auf der optischen Achse), so fallen der Mittelpunkt des Kopfbereichs und der Mittelpunkt des Bereichs des menschlichen Körpers ungefähr zusammen, befindet sich jedoch eine Person an einer anderen Position, so erscheint der menschliche Körperbereich im Vergleich zum Kopfbereich näher an der Bildmitte (mit anderen Worten, von der Bildmitte aus gesehen sind der Mittelpunkt des Bereichs des menschlichen Körpers und der Mittelpunkt des Kopfbereichs in dieser Reihenfolge angeordnet). Die Verwendung solcher Eigenschaften des Fischaugenbildes erlaubt es, unter Berücksichtigung der relativen Positionen des Kopfbereiches und des Bereichs des menschlichen Körpers, die Gültigkeit der Kombination des Kopfkandidaten und des Kandidaten für menschliche Körper zu bewerten.
8 ist ein Flussdiagramm der Paarungsverarbeitung basierend auf der relativen Position. Zunächst bildet die Bestimmungseinheit 26 aus allen Kombinationen der Kopfkandidaten und der Kandidaten für menschliche Körper ein Paar, bei dem der Kopfbereich und der Körperbereich einander überlappen (Schritt S80). In dem in 6 gezeigten Beispiel werden sechs Paare gebildet. Der Grund, warum die Anzahl der Paare größer ist als die tatsächliche Anzahl der Personen (fünf Personen), ist, dass auch ein Paar aus dem Kandidaten für menschliche Körper 62 und dem Kopfkandidaten 56, das ein Ergebnis einer falschen Erkennung ist, gebildet wird.
Als Nächstes bestimmt die Bestimmungseinheit 26 für jedes der in Schritt S80 erhaltenen Paare, welcher von Kopfbereich und Bereich des menschlichen Körpers näher an der Bildmitte liegt, und extrahiert nur ein Paar, bei dem der Bereich des menschlichen Körpers näher an der Bildmitte liegt als der Kopfbereich (Schritt S81). Diese Bestimmung kann z. B. anhand eines Vergleichs eines Abstands zwischen dem Zentrum des Kopfbereichs und dem Zentrum des Bildes mit einem Abstand zwischen dem Zentrum des Bereichs des menschlichen Körpers und dem Zentrum des Bildes erfolgen. Durch eine solche Verarbeitung kann das Paar aus dem Kandidaten für menschliche Körpers 62 und dem Kopfkandidaten 56 eliminiert werden. Dadurch werden die Paare auf die fünf Paare Kopfkandidat 51 und Körperkandidat 61 (Kandidat für menschlichen Körper 61), Kopfkandidat 52 und Körperkandidat 62, Kopfkandidat 53 und Körperkandidat 63, Kopfkandidat 54 und Körperkandidat 64 und Kopfkandidat 55 und Körperkandidat 65 eingegrenzt.
Paarung auf Basis der relativen Größe
Ist die Position der Fischaugenkamera 10 relativ zum zu erfassenden Bereich festgelegt, so ist die Größe des Kopfes oder des menschlichen Körpers auf dem Fischaugenbild im Allgemeinen vorhersehbar. Außerdem können durch die Berechnung der relativen Größen des Kopfes und des menschlichen Körpers Variationen in der Körpergröße bei verschiedenen Personen gestrichen werden. Die Verwendung solcher Merkmale des Fischaugenbildes gestattet es, unter Berücksichtigung der relativen Größen des Kopfbereichs und des Bereichs des menschlichen Körpers, die Gültigkeit der Kombination des Kopfkandidaten und des Kandidaten für menschliche Körper zu bewerten.
9 ist ein Flussdiagramm der Paarungsverarbeitung basierend auf der relativen Größe. Zunächst bildet die Bestimmungseinheit 26 aus allen Kombinationen der Kopfkandidaten und der Kandidaten für menschliche Körper ein Paar, bei dem sich der Kopfbereich und der Bereich des menschlichen Körpers überlappen (Schritt S90). Dieser Vorgang ist derselbe wie der in 8 gezeigte Schritt S80. Als nächstes berechnet die Bestimmungseinheit 26 ein Größenverhältnis zwischen dem Kopfbereich und dem Bereich des menschlichen Körpers für jedes der in Schritt S90 erhaltenen Paare (Schritt S91). Als Größenverhältnis kann z.B. ein Flächenverhältnis zwischen den Begrenzungsrahmen erhalten werden, oder ein Verhältnis zwischen den Längen der Seiten oder Diagonalen. Dann extrahiert die Bestimmungseinheit 26 nur ein Paar, bei dem das Größenverhältnis in einen vorgegebenen Bereich fällt (Schritt S92). Eine solche Verarbeitung ermöglicht es, ein Objekt, das ein Ergebnis einer falschen Erkennung ist und sich in der Größe deutlich von einem tatsächlichen Kopf oder menschlichen Körper unterscheidet, aus den zu paarenden Objekten zu eliminieren.
Unterdessen hat das Fischaugenbild eine Charakteristik, bei der ein Einfallswinkel zu einem Rand des Bildes hin kleiner wird, und der Bereich des menschlichen Körpers wird relativ größer als der Kopfbereich. Das heißt, das Größenverhältnis zwischen dem Kopfbereich und dem Bereich des menschlichen Körpers ist über das Bild hinweg nicht konstant und kann sich in einer Weise ändern, die von einer Position im Fischaugenbild abhängt. Daher kann die Bestimmungseinheit 26 den „vorgegebenen Bereich“, der in Schritt S92 verwendet wird, in einer Weise variabel machen (einstellen), die von den Koordinaten des Kopfkandidaten oder des Kandidaten für menschliche Körper im Bild abhängt. Zum Beispiel wird, wie in 10 gezeigt, das Fischaugenbild in 25 Bereiche L1 bis L25 unterteilt, und für jeden der nach der Unterteilung angegebenen Bereiche wird ein korrekter Bereich des Größenverhältnisses festgelegt. In dem in 10 gezeigten Beispiel wird der korrekte Bereich so eingestellt, dass das Größenverhältnis (Kopfbereich/Körperbereich) kleiner wird, wenn der Abstand zur Bildmitte zunimmt. Die Bestimmungseinheit 26 kann beim Bestimmungsvorgang in Schritt S92 eine entsprechende Bestimmung anhand der Position im Fischaugenbild vornehmen, indem sie eine Tabelle wie in 10 gezeigt zu Rate zieht. Dies ermöglicht eine weitere Erhöhung der Zuverlässigkeit der Paarung.
<Zuverlässigkeit>
Im Folgenden werden einige konkrete Beispiele für die Zuverlässigkeitsermittlung durch die Ermittlungseinheit 26 beschrieben.
Individuelle Bestimmung
Die Bestimmungseinheit 26 kann bestimmen, dass, wenn ein Kopfkandidat und ein Kandidat für menschliche Körper, die ein Paar bilden, jeweils eine größere Zuverlässigkeit aufweisen als ein entsprechender vorgegebener Schwellenwert, das Paar eine Person ist. Das heißt, die individuelle Bestimmung erfolgt nach dem folgenden Verfahren:

die Zuverlässigkeit des Kopfkandidaten wird mit Ch, die Zuverlässigkeit des Kandidaten für menschliche Körper mit Cb, ein Schwellenwert des Kopfkandidaten mit Th und ein Schwellenwert des Kandidaten für menschliche Körper wird mit Tb bezeichnet,
wenn Ch > Th und Cb > Tb erfüllt sind, wird „Person“ bestimmt, und
wenn Ch ≤ Th oder Cb ≤ Tb erfüllt ist, wird festgestellt, dass es sich nicht um eine „Person“ handelt.

Einfache Mittelwertbildung
Die Bestimmungseinheit 26 kann die Gesamtzuverlässigkeit Cw anhand der Zuverlässigkeit Ch des Kopfkandidaten und der Zuverlässigkeit Cb des Kandidaten für menschliche Körper erhalten und basierend auf einem Ergebnis der Bestimmung, ob die Gesamtzuverlässigkeit Cw größer als ein Schwellenwert Tw ist, bestimmen, ob das Paar eine Person darstellt. Bei der einfachen Mittelwertbildung kann die Gesamtzuverlässigkeit Cw durch die folgende Gleichung berechnet werden: $Cw = (Ch + Cb) / 2$
Gewichtete Mittelwertbildung
Bei der gewichteten Mittelwertbildung kann die Gesamtzuverlässigkeit Cw z. B. nach folgender Gleichung berechnet werden: $Cw = (w \times Ch + (1 - w) \times Cb) / 2.$
wobei w eine Gewichtung bezeichnet. Das Gewicht w kann ein fester Wert sein oder in einer Weise variieren, die von den Koordinaten, des Kopfkandidaten oder des Kandidaten für menschliche Körper auf dem Fischaugenbild abhängt. Wie in 6 zu sehen ist, erscheint in der Bildmitte der Kopf groß, während der menschliche Körper fast verschwindet. Zum Rand des Bildes hin erscheint der menschliche Körper größer. Unter Berücksichtigung dieser Eigenschaften des Fischaugenbildes ist es wünschenswert, dass das Gewicht w der Zuverlässigkeit Ch des Kopfkandidaten in der Bildmitte relativ groß und das Gewicht (1 - w) der Zuverlässigkeit Cb des Kandidaten für menschliche Körper zum Bildrand hin größer wird.
Mit höherer Priorität für den Kopf
Ist die Zuverlässigkeit Ch des Kopfkandidaten signifikant hoch, so kann die Bestimmungseinheit 26 eine endgültige Entscheidung darüber treffen, ob es sich um eine Person handelt, ohne die Zuverlässigkeit Cb des Kandidaten für menschliche Körper zu berücksichtigen (oder mit einem signifikant kleinen Gewicht der Zuverlässigkeit Cb des Kandidaten für menschliche Körper). Ist die Zuverlässigkeit Ch des Kopfkandidaten signifikant hoch, so kann der Kopfkandidat auch dann als „Person“ bestimmt werden, wenn der Kandidaten für menschliche Körper, der mit dem Kopfkandidaten gepaart werden soll, nicht gefunden wurde (es wird dann angenommen, dass die Wahrscheinlichkeit, dass der menschliche Körper durch ein Objekt verdeckt wird, hoch ist). Man sollte beachten, dass es vorteilhaft ist, wenn der Schwellenwert, der bei der Bestimmung, ob die Zuverlässigkeit Ch signifikant hoch ist, verwendet wird, größer als die oben beschriebenen Werte Th, Tw eingestellt wird.
Mit höherer Priorität für den menschlichen Körper
Ist die Zuverlässigkeit Cb des Kandidaten für menschliche Körper signifikant hoch, kann die Bestimmungseinheit 26 eine endgültige Entscheidung darüber treffen, ob es sich um eine Person handelt, ohne die Zuverlässigkeit Ch des Kopfkandidaten zu berücksichtigen (oder mit einer signifikant geringen Gewichtung der Zuverlässigkeit Ch des Kopfkandidaten). Ist die Zuverlässigkeit Cb des Kandidaten für menschliche Körper signifikant hoch, so kann der Kandidat für menschliche Körper auch dann als „Person“ bestimmt werden, wenn der Kopfkandidat, der mit dem Kandidaten für menschliche Körper gepaart werden soll, nicht gefunden wurde (es wird dann angenommen, dass die Wahrscheinlichkeit, dass der Kopf von einem Objekt verdeckt wird, hoch ist). Es sollte beachtet werden, dass der Schwellenwert, der bei der Bestimmung, ob die Zuverlässigkeit Cb signifikant hoch ist, verwendet wird, vorzugsweise größer als die oben beschriebenen Werte Tb, Tw eingestellt wird.
<Andere>
Die oben beschriebene Ausführungsform stellt lediglich ein erfindungsgemäßes Ausführungsbeispiel dar. Die vorliegende Erfindung ist nicht auf die oben beschriebenen spezifischen Ausführungsformen beschränkt, und es können verschiedene Modifikationen im Rahmen der technischen Erfindungsidee vorgenommen werden.
<Anhang 1>
(1) Eine Personendetektionsvorrichtung (1), die eingerichtet ist, ein Fischaugenbild zu analysieren, das von einer Fischaugenkamera (10) erhalten wird, die über einem zu detektierenden Bereich (11) installiert ist, um eine Person (13) zu detektieren, die in dem zu detektierenden Bereich (11) vorhanden ist, wobei die Personendetektionsvorrichtung (1) umfasst:

einen Kopfdetektor (22), der eingerichtet ist, mindestens einen Kopfkandidaten aus dem Fischaugenbild unter Verwendung eines Algorithmus zur Erkennung eines menschlichen Kopfes zu erkennen;
einen Detektor (24) für menschliche Körper, der eingerichtet ist, mindestens einen Kandidaten für einen menschlichen Körper aus dem Fischaugenbild unter Verwendung eines Algorithmus zur Erkennung eines menschlichen Körpers zu erkennen; und
eine Bestimmungseinheit (26), die eingerichtet ist, unter Paaren des Kopfkandidaten und des Kandidaten für menschliche Körper, die aus einer Kombination eines Erfassungsergebnisses von dem Kopfdetektor (22) und eines Erfassungsergebnisses von dem Detektor (24) für menschliche Körper gebildet werden, ein Paar, das eine vorgegebene Bedingung erfüllt, als eine Person bestimmt.

(2) Detektionsverfahren für menschliche Körper zum Analysieren eines Fischaugenbildes, das von einer Fischaugenkamera (10) erhalten wird, die über einem zu detektierenden Bereich (11) installiert ist, um eine Person (13) zu detektieren, die in dem zu detektierenden Bereich (11) vorhanden ist, wobei das Detektionsverfahren für menschliche Körper die folgenden Schritte umfasst:

Erkennen mindestens eines Kopfkandidaten aus dem Fischaugenbild unter Verwendung eines Algorithmus zur Erkennung eines menschlichen Kopfes (S41);
Erkennen mindestens eines menschlichen Körperkandidaten aus dem Fischaugenbild unter Verwendung eines Algorithmus zum Erkennen eines menschlichen Körpers (S42); und
Bestimmen eines Paares, das eine vorgegebene Bedingung erfüllt, unter Paaren des Kopfkandidaten und des Kandidaten für menschliche Körper, die aus einer Kombination eines Erfassungsergebnisses aus dem Schritt des Erfassens mindestens eines Kopfkandidaten und eines Erfassungsergebnisses aus dem Schritt des Erfassens mindestens eines Kandidaten für menschliche Körper gebildet werden (S45), als Person.

Bezugszeichenliste

1: Vorrichtung zur Erkennung von Menschen
2: Monitoring-System
10: Fischaugenkamera
11: zu detektierender Bereich
12: Decke
13: Person

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201639539 [0004]

Claims

Personendetektionsvorrichtung, die eingerichtet ist, ein Fischaugenbild zu analysieren, das von einer Fischaugenkamera erhalten wird, die über einem zu detektierenden Bereich installiert ist, um eine Person zu detektieren, die in dem zu detektierenden Bereich existiert, wobei die Personendetektionsvorrichtung umfasst: einen Kopfdetektor, der eingerichtet ist, mindestens einen Kandidaten für einen Kopf in dem Fischaugenbild zu erkennen, indem er einen Algorithmus zur Erkennung eines menschlichen Kopfes verwendet; einen Detektor für menschliche Körper, der eingerichtet ist, mindestens einen Kandidaten für einen menschlichen Körper aus dem Fischaugenbild zu erkennen, indem er einen Algorithmus zum Erkennen eines menschlichen Körpers verwendet; und eine Bestimmungseinheit, die eingerichtet ist, unter Paaren von Kandidaten für einen Kopf und Kandidaten für einen menschlichen Körper ein Paar, das eine vorgegebene Bedingung erfüllt, die aus einer Kombination eines Erfassungsergebnisses des Kopfdetektors und eines Erfassungsergebnisses des Detektors für menschliche Körper gebildet wird, als Person zu bestimmen.
Personendetektionsvorrichtung nach Anspruch 1, wobei die vorgegebene Bedingung eine Bedingung in Bezug auf relative Positionen des Kandidaten für einen Kopf und des Kandidaten für einen menschlichen Körper umfasst.
Personendetektionsvorrichtung nach Anspruch 1 oder 2, wobei die vorgegebene Bedingung eine Bedingung dahingehend umfasst, dass ein Bereich des Kandidaten für einen Kopf und ein Bereich des Kandidaten für einen menschlichen Körper einander überlappen.
Personendetektionsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die vorgegebene Bedingung eine Bedingung dahingehend umfasst, dass der Kandidat für den menschlichen Körper hinsichtlich Koordinaten näher an einem Zentrum des Fischaugenbildes liegt als der Kandidat für den Kopf.
Personendetektionsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die vorgegebene Bedingung eine Bedingung hinsichtlich der relativen Größen des Kandidaten für einen Kopf und des Kandidaten für einen menschlichen Körper umfasst.
Personendetektionsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die vorgegebene Bedingung eine Bedingung dahingehend umfasst, dass ein Größenverhältnis zwischen dem Kandidaten für einen Kopf und dem Kandidaten für einen menschlichen Körper innerhalb eines vorgegebenen Bereichs liegt.
Personendetektionsvorrichtung nach Anspruch 6, wobei die Bestimmungseinheit den vorgegebenen Bereich in Abhängigkeit von den Koordinaten des Kandidaten für einen Kopf und dem Kandidaten für einen menschlichen Körper auf dem Fischaugenbild ändert.
Personendetektionsvorrichtung nach einem der Ansprüche 1 bis 7, wobei der Kopfdetektor die Erkennungssicherheit für jeden erkannten Kandidaten für einen Kopf ausgibt, der Detektor für menschliche Körper die Erkennungssicherheit für jeden erkannten Kandidaten für einen menschlichen Körper ausgibt, und die vorgegebene Bedingung eine Bedingung hinsichtlich der Zuverlässigkeit des Kandidaten für einen Kopf und des Kandidaten für einen menschlichen Körper umfasst.
Personendetektionsvorrichtung nach Anspruch 8, wobei die Bestimmungseinheit die Gesamtzuverlässigkeit anhand der Zuverlässigkeit des Kandidaten für einen Kopf und der Zuverlässigkeit des Kandidaten für einen menschlichen Körper ermittelt, und die vorgegebene Bedingung eine Bedingung dahingehend umfasst, dass die Gesamtzuverlässigkeit größer als ein Schwellenwert ist.
Personendetektionsvorrichtung nach Anspruch 9, wobei die Bestimmungseinheit eine Gewichtung der Zuverlässigkeit des Kandidaten für einen Kopf und eine Gewichtung der Zuverlässigkeit des Kandidaten für einen menschlichen Körper zur Verwendung bei der Gewinnung der Gesamtzuverlässigkeit in Übereinstimmung mit den Koordinaten auf dem Fischaugenbild des Kandidaten für einen Kopf und des Kandidaten für einen menschlichen Körper ändert.
Personendetektionsvorrichtung nach einem der Ansprüche 8 bis 10, wobei wenn entweder die Zuverlässigkeit des Kandidaten für einen Kopf oder die Zuverlässigkeit des Kandidaten für einen menschlichen Körper hoch genug ist, die Bestimmungseinheit die Bedingung bezüglich der Zuverlässigkeit des anderen weniger restriktiv einstellt.
Personendetektionsverfahren zum Analysieren eines Fischaugenbildes, das von einer über einem zu detektierenden Bereich installierten Fischaugenkamera erhalten wird, um eine in dem zu detektierenden Bereich vorhandene Person zu detektieren, wobei das Personendetektionsverfahren die folgenden Schritte umfasst: Erkennen mindestens eines Kandidaten für einen Kopf aus dem Fischaugenbild unter Verwendung eines Algorithmus zur Erkennung eines menschlichen Kopfes; Erkennen mindestens eines Kandidaten für einen menschlichen Körper aus dem Fischaugenbild unter Verwendung eines Algorithmus zum Erkennen eines menschlichen Körpers; und Bestimmen eines Paares, das, unter Paaren des Kandidaten für einen Kopf und des Kandidaten für einen menschlichen Körper, eine vorgegebene Bedingung erfüllt, die aus einer Kombination eines Erfassungsergebnisses aus dem Schritt des Erfassens mindestens eines Kandidaten für einen Kopf und eines Erfassungsergebnisses aus dem Schritt des Erfassens mindestens eines Kandidaten für einen menschlichen Körper gebildet werden, als Person.
Programm, um einen Computer zu veranlassen, jeden der Schritte des Personendetektionsverfahrens nach Anspruch 12 auszuführen.