-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erkennung einer Person unter Verwendung eines Bildes einer Fischaugenkamera.
-
STAND DER TECHNIK
-
In den Bereichen Gebäudeautomation (BA) und Fabrikautomation (FA) besteht ein Bedarf an einer Anwendung, die automatisch die „Anzahl“, „Positionen“, „Verkehrslinien“ und dergleichen von Personen durch einen Bildsensor misst und Geräte wie z.B. eine Beleuchtung oder eine Klimaanlage optimal steuert. In einer solchen Anwendung wird zur Erfassung von Bildinformationen in einem möglichst weiten Bereich häufig eine Ultraweitwinkelkamera mit einem Fischaugenobjektiv verwendet (die Kamera wird als Fischaugenkamera, Rundumkamera, Kugelkamera usw. bezeichnet, wobei alle Bezeichnungen die gleiche Bedeutung haben, und in der vorliegenden Beschreibung wird der Begriff „Fischaugenkamera“ (fisheye camera) verwendet).
-
Ein von einer Fischaugenkamera aufgenommenes Bild ist stark verzerrt. Daher wird in einem Fall, in dem ein menschlicher Körper, ein Gesicht oder dergleichen aus einem von der Fischaugenkamera aufgenommenen Bild (im Folgenden als „Fischaugenbild“ bezeichnet) erkannt wird, üblicherweise ein Verfahren verwendet, bei dem das Fischaugenbild im Voraus entwickelt wird, um das Fischaugenbild zu einem Bild mit geringerer Verzerrung zu korrigieren, und anschließend wird eine Erkennungsverarbeitung durchgeführt d (vgl.
-
Patentdokument 1).
-
DOKUMENT ZUM STAND DER TECHNIK
-
PATENTSCHRIFT
-
Patentdokument 1: Ungeprüfte japanische Patentveröffentlichung Nr.
2016-39539 -
ZUSAMMENFASSUNG DER ERFINDUNG
-
AUFGABEN, DIE DURCH DIE ERFINDUNG GELÖST WERDEN SOLLEN
-
Die herkömmliche Technik hat jedoch die folgenden Probleme. Ein Problem besteht darin, dass die gesamten Verarbeitungskosten steigen, da die Vorverarbeitung der reinen Entwicklung des Fisheye-Bildes stattfindet. Dies erschwert die Echtzeit-Erkennungsverarbeitung und kann zu einer Verzögerung bei der Gerätesteuerung führen, was nicht wünschenswert ist. Das zweite Problem besteht darin, dass die Möglichkeit besteht, dass das Bild einer Person oder eines Objekts, das sich zum Zeitpunkt der Planerentwicklung bzw. Ebenenentwicklung gerade an einer Grenzposition (einem Bildbruch) befindet, z. B. unmittelbar unter der Fischaugenkamera, durch die Ebenenentwicklungsverarbeitung stark verformt wird oder das Bild derart geteilt wird, dass keine korrekte Erkennung durchgeführt werden kann.
-
Um diese Probleme zu vermeiden, haben die gegenwärtigen Erfinder einen Ansatz untersucht, bei dem das Fischaugenbild so wie es ist (d. h. „ohne Ebenenentwicklung“) einer Erkennungsverarbeitung unterzogen wird. Im Falle des Fischaugenbildes ist jedoch die Variation des Aussehens einer zu erkennenden Person (Neigung, Verzerrung und Größe eines menschlichen Körpers) im Vergleich zu einem normalen Kamerabild größer, so dass die Erkennung schwierig wird. Insbesondere wenn eine Anwendung wie BA oder FA angenommen wird, gibt es viele Objekte in einem Bild, die fälschlicherweise für einen menschlichen Körper oder einen Kopf gehalten werden können, wie z. B. ein Stuhl, ein PC, eine Mülltonne, ein elektrischer Ventilator und ein Wasserkocher. Aus diesem Grund nimmt die Fehleinschätzung (fälschliche Einschätzung), ein Objekt werde als menschlicher Körper erkannt, zu, und die Erkennungsgenauigkeit nimmt tendenziell ab.
-
Die vorliegende Erfindung wurde in Anbetracht der obigen Umstände gemacht, und ein Ziel (eine Aufgabe) von ihr ist es, eine Technik zur Erkennung einer Person aus einem Fischaugenbild mit hoher Geschwindigkeit und mit hoher Genauigkeit bereitzustellen.
-
MITTEL ZUR LÖSUNG DER AUFGABE
-
Um die oben genannte Aufgabe zu lösen, nimmt die vorliegende Erfindung die folgende Konfiguration an.
-
Ein erster Aspekt der vorliegenden Erfindung stellt eine Personenerkennungsvorrichtung bereit, die ein Fischaugenbild analysiert, das von einer Fischaugenkamera erhalten wird, die über einem Erkennungszielbereich installiert ist, um eine Person zu detektieren, die sich in dem Erkennungszielbereich befindet, wobei die Personenerkennungsvorrichtung umfasst: einen Detektor, der eingerichtet ist, einen Kandidaten für einen menschlichen Körper und ein Objekt aus einem Fischaugenbild zu detektieren; und eine Bestimmungseinheit für fälschliche Erkennung, die eingerichtet ist, zu bestimmen, ob der Kandidat für einen menschlichen Körper fälschlicherweise detektiert wird, basierend auf einer Positionsbeziehung zwischen einer Erkennungsposition des Kandidaten für einen menschlichen Körper und einer Erkennungsposition des Objekts, das sich um den Kandidaten für einen menschlichen Körper befindet.
-
Die Fischaugenkamera (fisheye-Kamera) ist eine Kamera, die mit einem Fischaugen (fisheye)-Objektiv ausgestattet ist und im Vergleich zu einer normalen Kamera in einem extrem weiten Winkel fotografieren kann. Eine omnidirektionale Kamera und eine sphärische Kamera sind ebenfalls Typen der Fischaugenkamera. Die Fischaugenkamera kann so installiert werden, dass sie von oben auf den zu erfassenden Bereich hinunterblickt. Typischerweise wird die Fischaugenkamera so installiert, dass die optische Achse der Fischaugenkamera vertikal nach unten zeigt, jedoch kann die optische Achse der Fischaugenkamera in Bezug auf die vertikale Richtung auch geneigt sein.
-
Der „menschliche Körper“ kann ein ganzer menschlicher Körper oder ein Halbkörper sein (z. B. Oberkörper, Kopf, Torso usw.). Das als menschlicher Körper erkannte Erkennungsergebnis kann ein Objekt umfassen, das kein menschlicher Körper ist, weshalb das Erkennungsergebnis in der Erkennungsphase auch als „Kandidat für einen menschlichen Körper“ bezeichnet wird. Beispiele für das „Objekt“ sind ein Stuhl, ein Schreibtisch und ein Regal in einem Büro, ein Arbeitstisch in einer Fabrik und verschiedene Geräte. Für die „Erkennungsposition des Kandidaten für einen menschlichen Körper“ kann eine Positionsbeziehung mit der Erkennungsposition des Objekts als der gesamte Bereich, der den Kandidaten für einen menschlichen Körper umgibt, angegeben werden, oder eine Positionsbeziehung mit der Erkennungsposition des Objekts kann als die Zentralkoordinaten des Bereichs, der den Kandidaten für einen menschlichen Körper umgibt, angegeben werden. In ähnlicher Weise kann die „Erkennungsposition des Objekts“ der gesamte Bereich sein, der das Objekt umgibt, oder die Zentralkoordinaten des Bereichs, der das Objekt umgibt. Die „Positionsbeziehung“ umfasst eine Positionsbeziehung, bei der sich der Kandidat für einen menschlichen Körper und das Objekt überlappen, eine Positionsbeziehung, bei der der Kandidat für einen menschlichen Körper an das Objekt angrenzt, und dergleichen.
-
Erfindungsgemäß wird die Gültigkeit der Positionsbeziehung zwischen der erkannten Erkennungsposition des Kandidaten für einen menschlichen Körper und der Erkennungsposition des um den Kandidaten für einen menschlichen Körper herum vorhandenen Objekts überprüft, um die Bestimmung der fälschlichen Erkennung derart durchzuführen, dass die hochgenaue menschliche Erkennung durch einfache Verarbeitung erreicht werden kann. Da eine Vorverarbeitung, wie z. B. die Entwicklung eines Fischaugenbildes, nicht erforderlich ist, kann eine schnelle Verarbeitung erreicht werden. Darüber hinaus ist es aus der Sicht des Gerätemanagements möglich, aufgrund der verbesserten Genauigkeit der Personenerkennung eine Beleuchtung oder eine Klimaanlage angemessen zu steuern.
-
Der Detektor kann eine Art des Objekts angeben, und die Einheit zur Bestimmung der fälschlichen Erkennung kann basierend auf der Art des Objekts bestimmen, ob der Kandidat für einen menschlichen Körper fälschlich erkannt wird.
-
Je nach Art des Objekts ist die Positionsbeziehung zum angenommenen menschlichen Körper unterschiedlich. Ein menschlicher Körper sitzt zum Beispiel auf einem Stuhl, nicht jedoch auf einem Schreibtisch. Wie oben beschrieben, kann der menschliche Körper in der vorliegenden Erfindung genauer erkannt werden, indem die Gültigkeit der Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und der Erkennungsposition des Objekts unter Berücksichtigung der Art des Objekts überprüft wird, um eine Bestimmung fälschlicher Erkennung durchzuführen.
-
Der Detektor kann einen ausgeschlossenen Bereich für das Objekt festlegen, und die Einheit zur Bestimmung der fälschlichen Erkennung kann anhand einer Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und dem ausgeschlossenen Bereich des Objekts bestimmen, ob der Kandidat für einen menschlichen Körper fälschlicherweise erkannt wird. Der „ausgeschlossene Bereich“ ist ein Bereich, von dem angenommen wird, dass er den menschlichen Körper in dem das Objekt umgebenden Bereich nicht überlappt. Wenn beispielsweise die Erkennungsposition des Kandidaten für den menschlichen Körper mit dem ausgeschlossenen Bereich überlappt oder wenn der Mittelpunkt des Kandidaten für den menschlichen Körper in den ausgeschlossenen Bereich fällt, kann der Detektor feststellen, dass die Erkennung des Kandidaten für den menschlichen Körper eine fälschliche Erkennung war. Der ausgeschlossene Bereich kann für ein bekanntes Objekt voreingestellt sein. Der ausgeschlossene Bereich kann ein Bereich sein, der durch Ausschluss eines Bereichs mit einer vorbestimmten Breite von der Peripherie in dem Bereich, der das Objekt umgibt, erhalten wird. Im Rahmen der vorliegenden Erfindung kann ein menschlicher Körper genauer erkannt werden, indem die Gültigkeit der Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und dem ausgeschlossenen Bereich des Objekts überprüft wird, um eine Bestimmung hinsichtlich fälschlicher Erkennung durchzuführen.
-
Die Einheit zur Bestimmung der fälschlichen Erkennung kann bestimmen, ob der Kandidat für einen menschlichen Körper fälschlicherweise erkannt wird, basierend auf einem Verhältnis, bei dem ein Bereich, der den Kandidaten für einen menschlichen Körper umgibt, einen Bereich, der das Objekt umgibt, oder den ausgeschlossenen Bereich des Objekts überlappt.
-
Das Verhältnis des überlappenden Bereichs kann berechnet werden, indem die Fläche des überlappenden Bereichs durch die Fläche des Bereichs, der den Kandidaten für einen menschlichen Körper umgibt, geteilt wird. Die Bestimmungseinheit für fälschliche Erkennung kann feststellen, dass die Erkennung des menschlichen Körpers eine fälschliche Erkennung war, wenn das berechnete Verhältnis größer als ein vorbestimmter Schwellenwert ist. Im Rahmen der vorliegenden Erfindung kann ein menschlicher Körper genauer erkannt werden, indem die Gültigkeit der Positionsbeziehung in Abhängigkeit von der Überlappung eines Kandidaten für einen menschlichen Körper und eines Objekts überprüft wird, um eine Bestimmung fälschlicher Erkennung durchzuführen.
-
Ein weiterer Aspekt der vorliegenden Erfindung stellt eine Personenerkennungsvorrichtung bereit, die ein Fischaugenbild analysiert, das von einer Fischaugenkamera erhalten wird, die über einem Erkennungszielbereich installiert ist, um eine Person zu detektieren, die sich in dem Erkennungszielbereich befindet, wobei die Personenerkennungsvorrichtung umfasst: einen Detektor, der eingerichtet ist, einen Kandidaten für einen menschlichen Körper und ein Objekt aus einem Fischaugenbild zu detektieren; und einen Haltungsschätzer, der eingerichtet ist, eine Haltung des Kandidaten für einen menschlichen Körper anhand einer Positionsbeziehung zwischen einer Erkennungsposition des Kandidaten für einen menschlichen Körper und einer Erkennungsposition des Objekts, das sich um den Kandidaten für einen menschlichen Körper herum befindet, schätzt. Der Haltungsschätzer kann eine Haltung schätzen, z. B. ob ein menschlicher Körper steht oder sitzt, basierend auf einer Positionsbeziehung mit einem (zu einem) Objekt. Die Personenerkennungsvorrichtung kann einen menschlichen Körper, einschließlich der Körperhaltung einer Person, genauer erkennen. Durch die Schätzung der Körperhaltung einer Person ist es möglich, das Gerätemanagement, wie z. B. eine Beleuchtung oder eine Klimaanlage, entsprechend zu steuern.
-
Der Haltungsschätzer kann eine Bewegung des Kandidaten für einen menschlichen Körper anhand einer Änderung der Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und der Erkennungsposition des Objekts von einem Bild (Rahmen) vor dem Fischaugenbild aus schätzen. Die Bewegung des menschlichen Körpers kann aus einer Änderung der Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und der Erkennungsposition des Objekts geschätzt werden. Der Haltungsschätzer kann eine Bewegung, wie z. B. das Aufstehen oder Sitzen eines menschlichen Körpers, anhand einer Änderung der Positionsbeziehung zum Objekt schätzen. Die Personenerkennungsvorrichtung kann den menschlichen Körper, einschließlich der Bewegung einer Person, genauer erkennen. Durch die Schätzung der Bewegung der Person ist es möglich, das Gerätemanagement, wie z. B. eine Beleuchtung oder eine Klimaanlage, in geeigneter Weise zu steuern.
-
Ein zweiter Aspekt der vorliegenden Erfindung stellt ein Personenerkennungsverfahren zum Analysieren eines Fischaugenbildes bereit, das von einer Fischaugenkamera erhalten wird, die über einem Erkennungszielbereich installiert ist, um eine Person zu erkennen, die sich in dem Erkennungszielbereich befindet, wobei das Personenerkennungsverfahren Folgendes umfasst: einen Erkennungsschritt zum Erkennen eines Kandidaten für einen menschlichen Körper und eines Objekts aus einem Fischaugenbild; und einen Falscherkennungsbestimmungsschritt zum Bestimmen, ob der Kandidat für einen menschlichen Körper anhand einer Positionsbeziehung zwischen einer Erkennungsposition des Kandidaten für einen menschlichen Körper und einer Erkennungsposition des Objekts, das um den Kandidaten für einen menschlichen Körper herum vorhanden ist, fälschlicherweise erkannt wird.
-
Die vorliegende Erfindung kann als eine Personenerkennungsvorrichtung betrachtet werden, die zumindest einen Teil der oben genannten Mittel aufweist, oder kann als eine Personenerkennungsvorrichtung, die eine erkannte Person wiedererkennt (identifiziert), eine Personenverfolgungsvorrichtung, die eine erkannte Person verfolgt, eine Bildverarbeitungsvorrichtung oder ein Überwachungssystem betrachtet werden. Ferner kann die vorliegende Erfindung als ein Verfahren zur Erkennung von Personen, das zumindest einen Teil der oben genannten Verfahren umfasst, ein Personenerkennungsverfahren, ein Personenverfolgungsverfahren, ein Bildverarbeitungsverfahren oder ein Überwachungsverfahren angesehen werden. Darüber hinaus kann die vorliegende Erfindung auch als ein Programm zur Durchführung eines solchen Verfahrens oder ein Aufzeichnungsmedium, in dem das Programm nicht-flüchtig aufgezeichnet ist, angesehen werden. Beachten Sie, dass bei der vorliegenden Erfindung jedes der Mittel und die Verarbeitung so weit wie möglich kombiniert werden können.
-
WIRKUNG DER ERFINDUNG
-
Erfindungsgemäß ist es möglich, ein Verfahren zur Erkennung einer Person aus einem Fischaugenbild mit hoher Geschwindigkeit und mit hoher Genauigkeit bereitzustellen.
-
Figurenliste
-
- 1 ist eine Ansicht, die ein Anwendungsbeispiel für eine erfindungsgemäße Personenerkennungsvorrichtung zeigt.
- 2 ist eine Ansicht, die ein Beispiel für ein Fischaugenbild und Begrenzungsrahmen zeigt.
- 3 ist eine Ansicht, die ein Beispiel für die Konfiguration eines Überwachungssystems mit einer Personenerkennungsvorrichtung zeigt.
- 4 ist ein Flussdiagramm zur Verarbeitung der Personenerkennung.
- 5 ist eine Ansicht, die ein Beispiel für ein von einem Detektor erzieltes Erkennungsergebnis von Kandidaten für einen menschlichen Körper zeigt.
- 6 ist eine Ansicht, die ein Beispiel für ein Erkennungsergebnis von Objekten durch einen Detektor zeigt.
- 7 ist eine Ansicht, die eine Liste zur Beseitigung von Fehlern zeigt.
- 8 ist eine Ansicht zur Erläuterung der Bestimmung einer fälschlichen Erkennung anhand einer Positionsbeziehung zu einem Objekt.
- 9A und 9B sind Ansichten zur Erläuterung der Bestimmung einer fälschlichen Erkennung anhand eines Verhältnisses eines Bereichs, der ein Objekt überlappt.
- 10 ist eine Ansicht, die ein Konfigurationsbeispiel eines Überwachungssystems mit einer Personenerkennungsvorrichtung gemäß einer Modifikation zeigt.
- 11 ist ein Flussdiagramm der Verarbeitung der menschlichen Körperhaltung.
-
AUSFÜHRUNGSFORM DER ERFINDUNG
-
Anwendungsbeispiel
-
Ein Anwendungsbeispiel der erfindungsgemäßen Personenerkennungsvorrichtung Erfindung wird unter Bezugnahme auf 1 beschrieben. Eine Personenerkennungsvorrichtung 1 ist eine Vorrichtung, die ein Fischaugenbild analysiert, das von einer über einem Erkennungszielbereich 11 (z.B. Decke 12) installierten Fischaugenkamera 10 erhalten wurde, um eine im Erkennungszielbereich 11 befindliche Person 13 zu detektieren. Die Personenerkennungsvorrichtung 1 führt die Detektion, Erkennung, Verfolgung und dergleichen an der Person 13 durch, die im Erkennungszielbereich 11 arbeitet, zum Beispiel in einem Büro, einer Fabrik oder dergleichen.
-
Die Personenerkennungsvorrichtung 1 erkennt einen Kandidaten für einen menschlichen Körper aus einem Fischaugenbild. Im Beispiel von 1 werden die jeweiligen Bereiche von drei menschlichen Körpern, die aus dem Fischaugenbild erkannt wurden, durch rechteckige Begrenzungsboxen 14 angezeigt. Zusätzlich wurde ein Notebook, das auf einem Schreibtisch steht, fälschlicherweise als menschlicher Körper erkannt und wird durch einen Begrenzungskasten 14 angezeigt. Der Begrenzungskasten (Begrenzungsrahmen) 14 ist eine geschlossene Figur oder eine Rahmenlinie, die einen Bereich um den Kandidaten für einen menschlichen Körper darstellt. Das Erkennungsergebnis des Kandidaten für einen menschlichen Körper umfasst die Erkennungsposition des Kandidaten für einen menschlichen Körper.
-
Die Personenerkennungsvorrichtung 1 erkennt aus dem Fischaugenbild auch ein Objekt. Das erkannte Objekt kann durch einen Begrenzungskasten angezeigt werden, der sich von dem Begrenzungskasten 14 des Kandidaten für einen menschlichen Körper unterscheidet. Die Personenerkennungsvorrichtung 1 kann auch die Art des Objekts angeben, wie z. B. einen Schreibtisch, einen Stuhl, einen Arbeitstisch oder eine Plattform, indem sie ein Verzeichnis verwendet, das im Voraus für die Detektion des Objekts vorbereitet wurde. Das Erkennungsergebnis des Objekts umfasst die Erkennungsposition des Objekts und die Art des Objekts.
-
Die Personenerkennungsvorrichtung 1 spezifiziert ein Objekt, das um den Kandidaten für einen menschlichen Körper herum vorhanden ist, und bestimmt anhand einer Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und der Erkennungsposition des um den Kandidaten für einen menschlichen Körper herum vorhandenen Objekts, ob der Kandidat für einen menschlichen Körper fälschlicherweise erkannt wurde oder nicht. Der als fehlerhaft erkannte Körperkandidat wird aus dem Erkennungsergebnis für den menschlichen Körpers ausgeschlossen. Das von der Personenerkennungsvorrichtung 1 erhaltene Detektionsergebnis hinsichtlich menschlicher Körper wird an ein externes Gerät ausgegeben und zum Beispiel zur Zählung der Anzahl der Personen, zur Steuerung verschiedener Geräte wie Licht und Klimaanlage, zur Überwachung einer verdächtigen Person und dergleichen verwendet.
-
Wenn der Erfassungszielbereich 11 derart fotografiert wird, dass die Fischaugenkamera 10 auf ihn herabblickt, ändert sich das Aussehen des menschlichen Körpers (wie der menschliche Körper erscheint) in Abhängigkeit von der Positionsbeziehung zur Fischaugenkamera 10 stark. Daher hat das Fischaugenbild die Eigenschaft, dass sich die Form und Größe des Begrenzungsrahmens 14 in Abhängigkeit von der Erkennungsposition auf dem Bild ändert. Die Personenerkennungsvorrichtung 1 hat eines der Merkmale in der Durchführung der Bestimmung einer fälschlichen Erkennung durch ein einfaches Verfahren zur Überprüfung der Gültigkeit der Form und Größe des Begrenzungsrahmens 14 des detektierten Kandidaten für einen menschlichen Körper unter Berücksichtigung einer solchen Eigenschaft des Fischaugenbildes, wodurch bestimmt wird, ob der Kandidat für einen menschlichen Körper fälschlicherweise detektiert worden ist oder nicht. Die Personenerkennungsvorrichtung 1 weist auch eines der Merkmale auf, das darin besteht, das Fischaugenbild so zu verwenden, wie es ist (d.h. ohne Vorverarbeitung wie Ebenenentwicklung und Verzerrungskorrektur) für die Personenerkennungsverarbeitung.
-
Ausführungsform
-
(Merkmale eines Fischaugenbildes)
-
2 zeigt ein Beispiel für ein Fischaugenbild, das von der Fischaugenkamera 10 aufgenommen wurde. Das Bildkoordinatensystem hat einen Ursprung (0, 0) in der unteren linken Ecke des Fisheye-Bildes, eine x-Achse auf der rechten Seite in horizontaler Richtung und eine y-Achse auf der oberen Seite in vertikaler Richtung.
-
Ist die Fisheye-Kamera 10 so installiert, dass eine optische Achse vertikal nach unten verläuft, so erscheint ein Bild, das man erhält, wenn man eine Person, die sich unmittelbar unterhalb der Fisheye-Kamera 10 befindet, von oben betrachtet, in der Mitte des Fisheye-Bildes. Dann nimmt der Depressionswinkel zum Ende des Fisheye-Bildes hin ab, und es erscheint ein Bild einer Person, die schräg von oben beobachtet wird. Steht der menschliche Körper im Fischaugenbild aufrecht, so erscheint der menschliche Körper in einem solchen Winkel, dass sich die Füße auf zur Mitte des Bildes hin befinden, der Kopf zum Ende des Bildes hin und der menschliche Körper im Wesentlichen parallel zu einer radialen Linie (gestrichelte Linie in 2), die durch die Mitte des Bildes verläuft. Obwohl die Verzerrung in der Mitte des Fisheye-Bildes relativ gering ist, wird die Verzerrung des Bildes zum Ende des Fisheye-Bildes hin größer.
-
Die Ziffern 14a bis 14f bezeichnen Begrenzungsrahmen, die so angeordnet sind, dass sie den Bereich des menschlichen Körpers in dem Fischaugenbild umgeben. In dieser Ausführungsform wird zur Vereinfachung der Bildverarbeitung ein rechteckiger Begrenzungskasten mit vier Seiten parallel zur x- oder y-Achse verwendet.
-
Wie in 2 dargestellt, ist der Begrenzungskasten (z. B. 14a) im zentralen Bereich des Fischaugenbildes im Wesentlichen quadratisch. Der Begrenzungskasten (z. B. 14b, 14c) in einem Bereich, der in einem Winkel von 45 Grad zum zentralen Bereich liegt, ist ebenfalls im Wesentlichen quadratisch. Die Begrenzungsrahmen (z. B. 14d) in den oberen und unteren Bereichen des zentralen Bereichs sind vertikal lange Rechtecke (Rechtecke mit langen Seiten parallel zur y-Achse), die bei Annäherung an die Bildmitte quadratischer werden und bei Entfernung von der Bildmitte vertikal länger werden. Die Begrenzungsrahmen (z. B. 14e, 14f) im linken und rechten Bereich des zentralen Bereichs sind horizontal lange Rechtecke (Rechtecke mit langen Seiten parallel zur x-Achse), die bei Annäherung an die Bildmitte quadratischer werden und bei Entfernung von der Bildmitte horizontal länger werden.
-
Wie oben beschrieben, hat das Fisheye-Bild die Eigenschaft, dass sich die Form (z. B. das Seitenverhältnis) des Begrenzungskastens in Abhängigkeit von der Richtung und dem Abstand zum Bildzentrum ändert. Das Seitenverhältnis des Begrenzungskastens kann basierend auf den optischen Eigenschaften der Fischaugenkamera 10, der Positionsbeziehung zwischen der Fischaugenkamera 10 und dem Erfassungszielbereich 11 und der durchschnittlichen Größe des menschlichen Körpers für jede Position oder jeden Bereich auf dem Fischaugenbild geometrisch berechnet (vorhergesagt) werden.
-
Wie in 2 dargestellt, ist die Größe des menschlichen Körpers in der Mitte des Fisheye-Bildes am größten und wird zum Ende hin kleiner. Das heißt, das Fischaugenbild hat die Eigenschaft, dass sich die Größe (z. B. die Fläche) des Begrenzungskastens in Abhängigkeit vom Abstand zum Bildzentrum ändert (die Größe nimmt mit zunehmendem Abstand ab). Die Fläche des Begrenzungsrahmens für jede Position oder jeden Bereich auf dem Fischaugenbild kann basierend auf den optischen Eigenschaften der Fischaugenkamera 10, der Positionsbeziehung zwischen der Fischaugenkamera 10 und dem Erfassungszielbereich 11 und der durchschnittlichen Größe des menschlichen Körpers auch geometrisch berechnet (vorhergesagt) werden.
-
(Überwachungssystem)
-
Die erfindungsgemäße Ausführungsform g wird unter Bezugnahme auf 3 beschrieben. 3 ist ein Blockdiagramm, das eine Konfiguration eines Überwachungssystems 2 zeigt, in dem die Personenerkennungsvorrichtung 1 nach der erfindungsgemäßen Ausführungsform eingesetzt wird. Das Überwachungssystem 2 umfasst die Fischaugenkamera 10 und die Personenerkennungsvorrichtung 1.
-
Die Fisheye-Kamera 10 ist eine Abbildungsvorrichtung mit einem optischen System, das ein Fisheye-Objektiv und ein Abbildungselement (einen Bildsensor wie einen ladungsgekoppelten Baustein (CCD) oder einen komplementären Metall-Oxid-Halbleiter (CMOS)) umfasst. Wie in 1 dargestellt, kann die Fischaugenkamera 10 beispielsweise an einer Decke 12 des Erfassungsbereichs 11 oder dergleichen in einem Zustand installiert werden, in dem die optische Achse vertikal nach unten gerichtet ist und Bilder in alle Richtungen (360 Grad) des Erfassungsbereichs 11 aufnehmen kann. Die Fischaugenkamera 10 ist mit der Personenerkennungsvorrichtung 1 über ein Kabel (Universal Serial Bus (USB)-Kabel, Local Area Network (LAN)-Kabel usw.) oder eine Funkvorrichtung (WiFi o.ä.) verbunden, und die von der Fischaugenkamera 10 aufgenommenen Bilddaten werden in der Personenerkennungsvorrichtung 1 erfasst. Die Bilddaten können entweder ein monochromes Bild oder ein Farbbild sein, und die Auflösung, die Bildrate und das Format der Bilddaten sind beliebig. In der vorliegenden Ausführungsform wird davon ausgegangen, dass ein monochromes Bild mit 10 fps (10 Bilder pro Sekunde) aufgenommen wird.
-
Die Personenerkennungsvorrichtung 1 der Ausführungsform umfasst eine Bildeingabeeinheit 20, einen Detektor 21, einen Speicher 23, eine Bestimmungskriterienliste 24, eine Bestimmungseinheit 25 für fälschliche Erkennung und eine Ausgabeeinheit 26. Die Bildeingabeeinheit 20 hat die Funktion, Bilddaten von der Fischaugenkamera 10 zu erfassen. Die erfassten Bilddaten werden an den Detektor 21 weitergeleitet. Die Bilddaten können in einem Speicher 23 gespeichert werden.
-
Der Detektor 21 hat die Funktion, einen Kandidaten für einen menschlichen Körper aus einem Fisheye-Bild zu erkennen, indem er einen Algorithmus zur Erkennung eines menschlichen Körpers verwendet. Ein Verzeichnis 22A zur Erkennung eines menschlichen Körpers ist ein Verzeichnis, in dem ein Bildmerkmal eines menschlichen Körpers, der in einem Fisheye-Bild erscheint, im Voraus registriert wird. Außerdem hat der Detektor 21 die Funktion, ein Objekt um den menschlichen Körper herum aus dem Fischaugenbild zu erkennen, indem er einen Algorithmus zur Erkennung eines Objekts verwendet, das kein menschlicher Körper ist. Ein Objekterkennungsverzeichnis 22B ist ein Verzeichnis, in dem ein Bildmerkmal eines Objekts, das in dem Fischaugenbild erscheint, im Voraus registriert wird. Im Objekterkennungsverzeichnis 22B werden Bildmerkmale für jede Art von Objekt, wie z. B. einen Schreibtisch, einen Stuhl, ein Regal und eine Trittleiter, registriert. Der Detektor 21 kann den Typ des erkannten Objekts unter Bezugnahme auf das Objekterkennungsverzeichnis 22B angeben.
-
Der Speicher 23 hat eine Funktion zum Speichern eines Fischaugenbildes, eines Erfassungsergebnisses und dergleichen. Der Speicher 23 speichert separat den menschlichen Körper und das vom Detektor 21 erfasste Objekt. Die Bestimmungskriterienliste 24 hat die Funktion, Informationen zu speichern, die verwendet werden, um zu bestimmen, ob es eine fälschliche Erkennung gibt oder nicht, oder um die Haltung des menschlichen Körpers anhand der Positionsbeziehung zwischen dem menschlichen Körper und dem Objekt zu erkennen. Diese Informationen werden vor dem Betrieb des Überwachungssystems 2 festgelegt (z. B. zum Zeitpunkt der Auslieferung, Installation, Wartung o. ä. des Überwachungssystems 2). Darüber hinaus können die Informationen auch nach dem Betrieb des Überwachungssystems 2 aktualisiert werden.
-
Die Bestimmungseinheit 25 für fälschliche Erkennung hat die Funktion, das vom Detektor 21 erhaltene Erkennungsergebnis zu überprüfen und zu bestimmen, ob eine fälschliche Erkennung vorliegt oder nicht. Die Ausgabeeinheit 26 hat die Funktion, Informationen wie ein Fischaugenbild und ein Erkennungsergebnis an das externe Gerät auszugeben. Die Ausgabeeinheit 26 kann beispielsweise Informationen auf einem Display als externes Gerät anzeigen, Informationen an einen Computer als externes Gerät übertragen oder Informationen oder ein Steuersignal an eine Beleuchtungseinrichtung, eine Klimaanlage oder eine Fabrikautomatisierungseinrichtung (FA) als externes Gerät übertragen.
-
Die Personenerkennungsvorrichtung 1 kann z.B. aus einem Computer mit einer Zentraleinheit (CPU) (Prozessor), einem Hauptspeicher, einem Massenspeicher und dergleichen gebildet werden. In diesem Fall wird die in 3 dargestellte Konfiguration erreicht, indem ein im Speicher abgelegtes Programm in den Speicher geladen und das Programm von der CPU ausgeführt wird. Bei einem solchen Computer kann es sich um einen Allzweckcomputer wie einen Personalcomputer, einen Servercomputer, ein Tablet-Terminal oder ein Smartphone oder um einen eingebetteten Computer wie einen Bordcomputer handeln. Alternativ kann die gesamte oder ein Teil der in 3 dargestellten Konfiguration durch eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA) oder Ähnliches gebildet werden. Alternativ kann die gesamte oder ein Teil der in 3 dargestellten Konfiguration durch Cloud Computing oder verteiltes Computing realisiert werden.
-
(Verarbeitung der menschlichen Erkennung)
-
4 ist ein Flussdiagramm der Personenerkennungsverarbeitung durch die Personenerkennungsvorrichtung 1. Der Gesamtablauf der Personenerkennungsverarbeitung wird anhand von 4 beschrieben. Man sollte beachten, dass das Flussdiagramm in 4 die Verarbeitung eines Fischaugenbildes mit einem Einzelbild veranschaulicht. In einem Fall, in dem das Fischaugenbild mit 10 Bildern pro Sekunde eingegeben wird, wird die Verarbeitung von 4 10 Mal in einer Sekunde ausgeführt.
-
Zunächst empfängt die Bildeingabeeinheit 20 ein Fischaugenbild eines Rahmens von der Fischaugenkamera 10 (Schritt S40). Wie im Abschnitt STAND DER TECHNIK beschrieben, wurde die Bildverarbeitung, wie etwa Erkennung und Wiedererkennung, üblicherweise nach der Erstellung eines einfach entwickelten Bildes mit korrigierter Verzerrung eines Fischaugenbildes durchgeführt. Im Überwachungssystem 2 der vorliegenden Ausführungsform wird das Fischaugenbild jedoch so, wie es ist (also verzerrt bleibend), für die Erkennungs- und Wiedererkennungsverarbeitung verwendet.
-
Zunächst detektiert der Detektor 21 aus dem Fischaugenbild einen menschlichen Körper und ein Objekt, das um den menschlichen Körper herum vorhanden ist (Schritt S41). Wenn es eine Vielzahl von Personen in dem Fischaugenbild gibt, werden eine Vielzahl von menschlichen Körpern und ein Objekt um jeden menschlichen Körper herum erkannt. Der Detektor 21 kann die Verarbeitung der Erkennung eines menschlichen Körpers und die Erkennung eines Objekts um den menschlichen Körper für jeden menschlichen Körper durchführen. Ferner kann der Detektor 21 nach der Erkennung des menschlichen Körpers und des Objekts, das in dem Fischaugenbild enthalten ist, ein Objekt angeben, das um jeden erkannten menschlichen Körper herum vorhanden ist. Der Detektor 21 kann den erkannten menschlichen Körper und das um den menschlichen Körper befindliche Objekt in Verbindung miteinander im Speicher 23 speichern.
-
Der Detektor 21 identifiziert die Art des erfassten Objekts (Schreibtisch, Stuhl, Regal, Trittleiter usw.). Die Identifizierung der Art des Objekts wird auch als Objekterkennung bezeichnet. Das Erkennungsergebnis des vom Detektor 21 detektierten Objekts wird für die Bestimmung fälschlicher Erkennung eines menschlichen Körpers verwendet.
-
Hierbei wird die Erkennung des menschlichen Körpers in Schritt S41 beschrieben. Der Detektor 21 kann fälschlicherweise ein Objekt, das kein menschlicher Körper ist (z.B. ein elektrischer Ventilator, ein Schreibtischstuhl, ein Kleiderhaken oder dergleichen, der in Form und Farbe mit einem menschlichen Körper verwechselt wird), als menschlichen Körper erkennen. Da das Erkennungsergebnis, das vom Detektor 21 als menschlicher Körper erkannt wird, auch ein Objekt umfassen kann, das kein menschlicher Körper ist, wird das Objekt in diesem Stadium als „Kandidat für einen menschlichen Körper“ bezeichnet.
-
5 ist ein Beispiel für ein Erkennungsergebnis von Kandidaten für einen menschlichen Körper, das durch den Detektor 21 erhalten wurde. In diesem Beispiel wurde zusätzlich zu den menschlichen Körpern 50, 51, 52 auch ein Objekt 53, das kein menschlicher Körper ist, als ein Kandidat für einen menschlichen Körper erkannt. Die Ziffern 50a bis 53a bezeichnen die Begrenzungsrahmen der jeweiligen Kandidaten für menschliche Körper.
-
Das Erkennungsergebnis der Kandidaten für einen menschlichen Körper kann beispielsweise Informationen über einen Begrenzungsrahmen (Begrenzungsrahmen) enthalten, der einen Bereich des erkannten Kandidaten für einen menschlichen Körper anzeigt, sowie Informationen über die Zuverlässigkeit der Erkennung (die Gewissheit, dass es sich um einen menschlichen Körper handelt). Die Informationen des Begrenzungsrahmens können z. B. Zentralkoordinaten (x, y), eine Höhe h und eine Breite w des Begrenzungsrahmens (entsprechend der Erkennungsposition des Kandidaten für einen menschlichen Körper) umfassen. Das Erkennungsergebnis der Kandidaten für einen menschlichen Körper wird im Speicher 23 abgelegt.
-
Es ist zu beachten, dass jeder Algorithmus für die Erkennung des menschlichen Körpers verwendet werden kann. Beispielsweise kann ein Identifikator verwendet werden, der ein Bildmerkmal wie das Histogramm orientierter Gradienten (HoG) oder Haar-ähnliche und Boosting kombiniert, oder die Erkennung des menschlichen Körpers durch Deep Learning (z. B. Region Based Convolutional Neural Networks (R-CNN), Fast R-CNN, You Only Look Once (YOLO), Single Shot Multibox Detector (SSD) usw.) kann verwendet werden. In der Ausführungsform wird der gesamte Körper einer Person als menschlicher Körper erkannt, die vorliegende Erfindung ist aber darauf nicht beschränkt, und es kann auch ein Teil des Körpers wie der Oberkörper als Erkennungsziel verwendet werden.
-
Als nächstes wird die Erkennung des Objekts in Schritt S41 beschrieben. 6 ist ein Beispiel für ein Erkennungsergebnis von Objekten, das durch den Detektor 21 erhalten wurde. In diesem Beispiel wurden die Objekte 60 bis 66 erkannt. Das Ergebnis der Objekterkennung umfasst beispielsweise Informationen über einen Begrenzungsrahmen, die den Bereich des erkannten Objekts und die Art des Objekts angibt. Die Informationen des Begrenzungsrahmens können beispielsweise Zentralkoordinaten (x, y), eine Höhe h und eine Breite w des Begrenzungsrahmens (entsprechend der Erkennungsposition des Objekts) umfassen. Die Informationen des Begrenzungsrahmens werden in dem Speicher 23 gespeichert.
-
Das Objekt 60 wird als Schreibtisch erkannt, und „Schreibtisch“ wird als Typ des Objekts im Speicher 23 abgelegt. Die Objekte 61 bis 66 werden als Stühle erkannt, und „Stuhl“ wird im Speicher 23 als der Typ jedes der Objekte gespeichert. Die Bezugsziffer 60a bezeichnet den Begrenzungsrahmen des Objekts 60 (Schreibtisch), und die Bezugsziffern 61a bis 66a bezeichnen die Begrenzungsrahmen der Objekte 61 bis 66 (Stühle). Es sollte beachtet werden, dass das Erkennungsergebnis der in 6 dargestellten Objekte dem Erkennungsergebnis der in 5 dargestellten Kandidaten für einen menschlichen Körper überlagert und über die Ausgabeeinheit 26 auf dem Display als externes Gerät angezeigt werden kann.
-
Für die Objekterkennung und Objektwiedererkennung kann jeder beliebige Algorithmus verwendet werden, und die Erkennung und Wiedererkennung durch Boosten (maschinelles Lernen) oder Deep Learning kann ähnlich wie bei der menschlichen Körpererkennung durchgeführt werden. Bei der Objekterkennung durch maschinelles Lernen ist es auch möglich, ein im Erfassungszielbereich 11 vorhandenes Objekt vorab als Lehrdaten zu lernen.
-
Als Nächstes bestimmt die Einheit 25 zur Bestimmung fälschlicher Erkennung die fälschliche Erkennung für jedes der Begrenzungsrahmen 50a bis 53a, die in dem vom Detektor 21 erhaltenen Erkennungsergebnis der Kandidaten für einen menschlichen Körper enthalten sind (Schritt S42). Ob der Kandidat für einen menschlichen Körper fälschlicherweise erkannt wurde oder nicht, wird anhand einer Positionsbeziehung zwischen jedem Kandidaten für einen menschlichen Körper und dem in Schritt S41 erkannten Objekt bestimmt. Wenn z. B. das Verhältnis des Bereichs, der ein anderes Objekt überlappt, größer ist als ein vorbestimmter Schwellenwert, d. h., wenn der Kandidat für einen menschlichen Körper auf einem anderen Objekt vorhanden ist, wird angenommen, dass der Kandidat für einen menschlichen Körper kein menschlicher Körper ist. Im Beispiel von 5 wird, da der Kandidat für einen menschlichen Körper 53 den Schreibtisch vollständig überlappt, festgestellt, dass der Kandidat für einen menschlichen Körper kein menschlicher Körper ist und fälschlicherweise erkannt wurde. Einzelheiten zur Bestimmung fälschlicher Erkennung werden später beschrieben.
-
Wenn ein Kandidat für einen menschlichen Körper gefunden wird, der fälschlicherweise erkannt wurde (d.h. kein menschlicher Körper ist) (JA in Schritt S43), korrigiert die Einheit 25 zur Bestimmung der fälschlichen Erkennung das im Speicher 23 gespeicherte Erkennungsergebnis (Schritt S44). Insbesondere kann die Bestimmungseinheit 25 für fälschliche Erkennung die Informationen über den Kandidaten für einen menschlichen Körper, der als fehlerhaft erkannt wurde, aus dem Erkennungsergebnis ausschließen oder die Zuverlässigkeit des Kandidaten für einen menschlichen Körper, der als fehlerhaft erkannt wurde, verringern. Schließlich gibt die Ausgabeeinheit 26 das Erkennungsergebnis an das externe Gerät aus (Schritt S45). Damit ist die Verarbeitung des Fischaugenbildes eines Einzelrahmens (Einzelbildes) beendet.
-
Gemäß der Personenerkennungsverarbeitung der Ausführungsform wird das Fischaugenbild so analysiert, wie es ist, und die Personenerkennung wird direkt aus dem Fischaugenbild durchgeführt. Daher kann eine Vorverarbeitung, wie z.B. Ebenenentwicklung und Verzerrungskorrektur des Fischaugenbildes, entfallen, und eine Hochgeschwindigkeits-Menschenerkennungsverarbeitung kann durchgeführt werden. Das Verfahren, bei dem das Fischaugenbild für die Erkennungsverarbeitung verwendet wird, hat das Problem, dass sich die Erkennungsgenauigkeit im Vergleich zu dem Verfahren verschlechtert, bei dem die Erkennungsverarbeitung nach der Ebenenentwicklung (Verzerrungskorrektur) durchgeführt wird. In dieser Ausführungsform kann eine hochgenaue Erkennung erreicht werden, da fälschliche Erkennungen durch die Überprüfung der Positionsbeziehung zu einem Objekt um einen menschlichen Körper herum eliminiert werden.
-
(Bestimmung der fälschlichen Erkennung)
-
Es wird ein spezifisches Beispiel für die Bestimmung fälschlicher Erkennung durch die Einheit 25 zur Bestimmung der fälschlichen Erkennung beschrieben. Basierend auf einer Positionsbeziehung zwischen einer Erkennungsposition eines Kandidaten für einen menschlichen Körper und einer Erkennungsposition eines Objekts, das sich um den Kandidaten für einen menschlichen Körper befindet, bestimmt die Bestimmungseinheit 25 für fälschliche Erkennung, ob der Kandidat für einen menschlichen Körper fälschlicherweise erfasst wurde oder nicht. Die Positionsbeziehung umfasst beispielsweise eine Positionsbeziehung, bei der sich der Kandidat für einen menschlichen Körper und das Objekt überlappen, und eine Positionsbeziehung, bei der sich der Kandidat für einen menschlichen Körper neben dem Objekt befindet. Die Bestimmungseinheit 25 für fälschliche Erkennung kann ferner die fälschliche Erkennung in Abhängigkeit von der Art des überlappenden Objekts oder der Art des benachbarten Objekts bestimmen. Außerdem kann die Bestimmungseinheit 25 für fälschliche Erkennung die fälschliche Erkennung in Abhängigkeit vom Grad der Überlappung zwischen dem Kandidaten für einen menschlichen Körper und dem Objekt oder dem Abstand zwischen dem Kandidaten für einen menschlichen Körper und dem benachbarten Objekt bestimmen.
-
(1) Bestimmung anhand der Lagebeziehung und der Art des Objekts
-
Es wird davon ausgegangen, dass sich eine Person an einem Platz neben einem Schreibtisch in einem Konferenzraum oder einem Arbeitstisch in einer Fabrik befindet oder mit übereinander gelegten Händen anwesend ist, aber nicht auf den Schreibtisch oder den Arbeitstisch steigt. Andererseits kann sich eine Person auf einen Stuhl, eine Trittleiter oder ähnliches setzen oder darauf steigen. Wenn sich der Kandidat für einen menschlichen Körper, der das Bestimmungsziel ist, in einer Positionsbeziehung befindet, die das Objekt überlappt oder an das Objekt angrenzt, kann anhand der Art des Objekts bestimmt werden, ob der Kandidat für einen menschlichen Körper ein menschlicher Körper ist oder nicht. In diesem Abschnitt wird die Bestimmung einer fälschlichen Erkennung beschrieben, wenn der Kandidat für einen menschlichen Körper das Objekt überlappt.
-
Das in Schritt S41 erkannte Objekt wird zusammen mit dem Typ des Objekts im Speicher 23 gespeichert. Die Liste der Bestimmungskriterien 24 enthält eine Liste zur Beseitigung von Fehldetektionen, die einen Objekttyp definiert, von dem angenommen wird, dass er nicht von einer Person überdeckt wird. 7 ist eine Ansicht zur Veranschaulichung der Liste zur Beseitigung von fälschlicher Erkennung (Fehlern bei der Erkennung). Wie in 7 dargestellt, sind ein Schreibtisch, ein Regal, ein Linienarbeitstisch (Arbeitstisch zur Durchführung einer Reihe von Prozessen wie Produktion und Montage durch Fließarbeit), ein Arbeitstisch und dergleichen Objekte, bei denen jeweils angenommen wird, dass sie nicht von einer Person überlappt werden.
-
Die Bestimmungseinheit 25 für fälschliche Erkennung bestimmt unter den in Schritt S41 erkannten Objekten ein Objekt, das den Kandidaten für einen menschlichen Körper überlappt, als Bestimmungsziel. Die Zentralkoordinaten (x, y), die Höhe h und die Breite w des Begrenzungsrahmens des in Schritt S41 erfassten Objekts werden im Speicher 23 gespeichert. Auf diese Weise bestimmt die Fehlererkennungseinheit 25 ein Objekt, bei dem sich die Begrenzungsrahmen des Kandidaten für einen menschlichen Körper und die Begrenzungsrahmen des Objekts überschneiden, als das Objekt, das den Kandidaten für einen menschlichen Körper überlappt. Ob sich der Begrenzungsrahmen des Kandidaten für einen menschlichen Körper und der Begrenzungsrahmen des Objekts überlappen oder nicht, kann anhand des Abstands zwischen den Mittelkoordinaten jedes Begrenzungsrahmens sowie der Höhe h und der Breite w jedes Begrenzungsrahmens bestimmt werden.
-
Wenn ein Objekt, das jeden Kandidaten für einen menschlichen Körper überlappt, für jeden Kandidaten für einen menschlichen Körper in Schritt S41 spezifiziert und erkannt wird, wird jeder Kandidat für einen menschlichen Körper in Verbindung mit dem Objekt, das jeden Kandidaten für einen menschlichen Körper überlappt, im Speicher 23 gespeichert. In diesem Fall kann die Bestimmungseinheit 25 für fälschliche Erkennung ein Objekt, das den Kandidaten für einen menschlichen Körper überlappt, unter Bezugnahme auf den Speicher 23 erfassen (spezifizieren).
-
Die Bestimmungseinheit 25 für fälschliche Erkennung ermittelt den Typ des Objekts aus dem Erkennungsergebnis des Objekts, das den Kandidaten für einen menschlichen Körper überlappt. Die Bestimmungseinheit 25 für fälschliche Erkennung bestimmt, ob der erfasste Objekttyp in der in 7 dargestellten Fehlererkennungs-Entfernungsliste enthalten ist oder nicht. Wenn der Typ des Objekts in der Liste zum Entfernen fälschlicher Erkennungen enthalten ist, bestimmt die Bestimmungseinheit 25 für fälschliche Erkennungen, dass die Erkennung des Kandidaten für einen menschlichen Körper in Schritt S41 eine fälschliche Erkennung war.
-
Beispielsweise überschneidet sich der Begrenzungsrahmen 53a des Kandidaten für einen menschlichen Körper 53 in 5 mit dem Begrenzungsrahmen 60a des Objekts 60 in 6. Der Typ des Objekts 60 ist ein „Schreibtisch“. Da die Liste zum Entfernen fälschlicher Erkennungen „Schreibtisch“ enthält, kann die Bestimmungseinheit 25 für fälschliche Erkennungen feststellen, dass die Erkennung des Kandidaten für einen menschlichen Körper 53 eine fälschliche Erkennung war.
-
(2) Bestimmung anhand der Lagebeziehung zum ausgeschlossenen Bereich des Objekts
-
Eine Person, die als Kandidat für einen menschlichen Körper erkannt wird, kann einen peripheren Teil eines Objekts überlappen, wenn sie die Hand auf das Ende eines Tisches legt oder auf einem Arbeitstisch arbeitet. Andererseits wird bei einem großen Schreibtisch, der von einer Vielzahl von Personen genutzt wird, davon ausgegangen, dass eine Person einen zentralen Bereich, der durch eine vorgegebene Breite vom Rand getrennt ist, nicht überlappt. Wie oben beschrieben, kann die Bestimmungseinheit 25 für fälschliche Erkennung anhand der Positionsbeziehung zwischen dem Kandidaten für einen menschlichen Körper und dem Objekt bestimmen, ob es sich bei dem Kandidaten für einen menschlichen Körper um einen menschlichen Körper handelt oder nicht, d. h. welchen Teil des Objekts der Kandidat für einen menschlichen Körper überlappt.
-
Wenn beispielsweise die Mittelpunktskoordinaten des Kandidaten für einen menschlichen Körper in dem ausgeschlossenen Bereich enthalten sind, der für das Objekt festgelegt wurde, das den Kandidaten für einen menschlichen Körper überlappt, kann die Bestimmungseinheit 25 für fälschliche Erkennung bestimmen, dass die Erkennung des Kandidaten für einen menschlichen Körper in Schritt S41 eine fälschliche Erkennung war. Wenn das Begrenzungsfeld des Kandidaten für einen menschlichen Körper den ausgeschlossenen Bereich überlappt, kann die Bestimmungseinheit 25 für fälschliche Erkennung ferner feststellen, dass die Erkennung des Kandidaten für einen menschlichen Körper in Schritt S41 eine fälschliche Erkennung war.
-
Der ausgeschlossene Bereich wird für jedes in Schritt S41 erfasste Objekt festgelegt. Zum Beispiel kann der Detektor 21 einen Bereich, der durch Ausschluss eines Bereichs mit einer vorbestimmten Breite vom Umfang des Begrenzungsrahmens erhalten wird, als den ausgeschlossenen Bereich festlegen. Ferner kann bei einem Objekt, von dem angenommen wird, dass es den menschlichen Körper auf der Vorderseite überlappt, wie z. B. ein Regal, die Rückseite (die Seite, die den menschlichen Körper nicht überlappt) als ausgeschlossener Bereich festgelegt werden. Auf diese Weise kann der Detektor 21 den ausgeschlossenen Bereich auch anhand der Art des erkannten Objekts festlegen.
-
Der Detektor 21 berechnet die Mittelpunktskoordinaten (x, y), die Höhe h und die Breite w des festgelegten ausgeschlossenen Bereichs für jedes erkannte Objekt und speichert die Mittelpunktskoordinaten, die Höhe h und die Breite w im Speicher 23. Die Bestimmungseinheit 25 für fälschliche Erkennung kann anhand der im Speicher 23 gespeicherten Informationen über den ausgeschlossenen Bereich bestimmen, ob die Mittelkoordinaten des Kandidaten für einen menschlichen Körper im ausgeschlossenen Bereich des überlappenden Objekts enthalten sind oder nicht.
-
Hierbei wird die Bestimmung einer fälschlichen Erkennung anhand einer Positionsbeziehung zu einem Objekt unter Bezugnahme auf 8 beschrieben. Ein ausgeschlossener Bereich 60b, der durch eine strichpunktierte Linie gekennzeichnet ist, wird in dem als Objekt erkannten Objekt 60 (Schreibtisch) festgelegt. Der Begrenzungsrahmen 50a des Kandidaten für einen menschlichen Körper 50 überschneidet sich mit dem Begrenzungsrahmen des Schreibtisches 60, nicht jedoch mit dem ausgeschlossenen Bereich 60b. In diesem Fall kann die Bestimmungseinheit 25 für fälschliche Erkennung feststellen, dass die Erkennung des Kandidaten für einen menschlichen Körper 50 keine fälschliche Erkennung war.
-
Außerdem überlappt der Begrenzungsrahmen 53a des Kandidaten für einen menschlichen Körper 53 den ausgeschlossenen Bereich 60b. Da die Mittelkoordinaten des Begrenzungsrahmens 53a in dem ausgeschlossenen Bereich 60b enthalten sind, kann die Einheit 25 zur Bestimmung der fälschlichen Erkennung feststellen, dass die Erkennung des Kandidaten für einen menschlichen Körper 53 eine fälschliche Erkennung war.
-
(3) Bestimmung anhand der Positionsbeziehung, die durch das Verhältnis des Überlappungsbereichs mit dem Objekt bestimmt wird
-
Überlappt der Kandidat für einen menschlichen Körper das Objekt, so kann die Bestimmungseinheit 25 für fälschliche Erkennung bestimmen, ob der Kandidat für einen menschlichen Körper ein menschlicher Körper ist oder nicht, indem sie ein Verhältnis eines Bereichs verwendet, in dem der Kandidat für einen menschlichen Körper das Objekt überlappt. Das heißt, die Bestimmungseinheit 25 für fälschliche Erkennung kann bestimmen, ob der Kandidat für den menschlichen Körper ein menschlicher Körper ist oder nicht, und zwar anhand einer Positionsbeziehung zwischen dem Kandidaten für den menschlichen Körper und dem Objekt, die dadurch bestimmt wird, wie stark der Kandidat für den menschlichen Körper das Objekt überlappt.
-
Das Verhältnis des Bereichs, in dem der Kandidat für einen menschlichen Körper das Objekt überlappt, kann beispielsweise als Verhältnis eines Bereichs, der von dem Begrenzungsrahmen des überlappenden Objekts eingenommen wird, zu dem Begrenzungsrahmen des Kandidaten für einen menschlichen Körper berechnet werden. Ist das berechnete Verhältnis größer als ein vorbestimmter Schwellenwert, so bestimmt die Einheit 25 zur Bestimmung der fälschlichen Erkennung, dass die Erkennung des Kandidaten für einen menschlichen Körper in Schritt S41 eine fälschliche Erkennung war. Man beachte, dass der vorbestimmte Schwellenwert in Abhängigkeit von der Art des Objekts bestimmt werden kann. Beispielsweise kann der vorgegebene Schwellenwert auf 30 % festgelegt werden, wenn es sich bei dem Objekttyp um einen Schreibtisch handelt, und auf 80 %, wenn es sich bei dem Objekttyp um einen Stuhl handelt. Da, wie oben beschrieben, davon ausgegangen wird, dass der Bereich des Stuhls, der den menschlichen Körper überlappt, breiter ist als der des Schreibtisches, kann der vorgegebene Schwellenwert für den Stuhl auf einen größeren Wert als der für den Schreibtisch eingestellt werden. Der vorgegebene Schwellenwert wird im Voraus in der Liste der Bestimmungskriterien 24 gespeichert.
-
Hierbei wird die Bestimmung der fälschlichen Erkennung anhand des Verhältnisses des Bereichs, der das Objekt überlappt, mit Bezug auf die 9A und 9B beschrieben. In 9A überlappt der Kandidat für einen menschlichen Körper 50 den Schreibtisch 60 und den Stuhl 62. Ein Bereich, in dem sich der Begrenzungsrahmen 50a des Kandidaten für einen menschlichen Körper 50 und der Begrenzungsrahmen 60a des Schreibtischs 60 überlappen, wird als Bereich A1 definiert. Ein Bereich, in dem sich der Begrenzungsrahmen 50a des Kandidaten für einen menschlichen Körper 50 und der Begrenzungsrahmen 62a des Stuhls 62 überschneiden, wird als Bereich A2 bezeichnet. Ist das Verhältnis zwischen dem Bereich A1 und dem Begrenzungsrahmen 50a gleich oder kleiner als der Schwellenwert, so kann die Bestimmungseinheit 25 für fälschliche Erkennung feststellen, dass die Erkennung nicht fehlerhaft ist. Ist das Verhältnis des Bereichs A2 zu dem Begrenzungsrahmen 50a gleich oder kleiner als der Schwellenwert, so kann die Bestimmungseinheit 25 für fälschliche Erkennung bestimmen, dass die Erkennung keine fälschliche Erkennung ist.
-
In 9B hingegen überlappt der Kandidat für einen menschlichen Körper 53 den Schreibtisch 60. Die Begrenzungsrahmen 53a des Kandidaten für einen. menschlichen Körpers 53 ist in dem Bereich des Begrenzungsrahmens 60a des Schreibtischs 60 enthalten. Somit beträgt das Verhältnis des Bereichs, in dem die Begrenzungsrahmen 60a des Schreibtischs 60 die Begrenzungsrahmen 53a des Kandidaten für einen menschlichen Körper 53 überlappt, 100%. Wird der vorgegebene Schwellenwert für den Schreibtisch auf 30 % festgelegt wird, so übersteigt das Verhältnis des Bereichs, in dem die Begrenzungsrahmen 53a den Begrenzungsrahmen 60a überlappt, den Schwellenwert. Daher kann die Bestimmungseinheit 25 für fälschliche Erkennung bestimmen, dass die Erkennung des Kandidaten für einen menschlichen Körper in Schritt S41 eine fälschliche Erkennung war.
-
Es ist zu beachten, dass das oben beschriebene Verfahren zur Bestimmung von Fehlern bei der Erkennung (1) bis (3) in geeigneter Weise kombiniert werden können. Zum Beispiel kann die Einheit 25 zur Bestimmung der fälschlichen Erkennung basierend auf dem Verhältnis des Bereichs, in dem die Begrenzungsrahmen des Kandidaten für einen menschlichen Körper und der ausgeschlossene Bereich des Objekts einander überlappen, bestimmen, ob die Erkennung des Kandidaten für einen menschlichen Körper eine fälschliche Erkennung war oder nicht.
-
Wirkungen der Ausführungsform
-
In der obigen Ausführungsform erkennt die Personenerkennungsvorrichtung 1 den menschlichen Körper und das Objekt, das sich um den Kandidaten für einen menschlichen Körper herum befindet, anhand des Fischaugenbildes. Die Personenerkennungsvorrichtung 1 bestimmt anhand der Positionsbeziehung zwischen der Erkennungsposition des menschlichen Körpers und der Erkennungsposition des Objekts, ob die Erkennung des Kandidaten für einen menschlichen Körper eine fälschliche Erkennung war oder nicht. Im Ergebnis kann die Personenerkennungsvorrichtung 1 eine Person aus dem Fischaugenbild mit hoher Geschwindigkeit und hoher Genauigkeit erkennen.
-
Des Weiteren kann die Personenerkennungsvorrichtung 1 anhand der Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und der Erkennungsposition des Objekts sowie der Art des Objekts feststellen, ob die Detektion des Kandidaten für einen menschlichen Körper eine fälschliche Erkennung oder nicht. Da die Gültigkeit der Positionsbeziehung zwischen dem Kandidaten für einen menschlichen Körper und dem Objekt anhand der Art des Objekts überprüft wird, kann der menschliche Körper genauer erkannt werden.
-
Darüber hinaus kann die Personenerkennungsvorrichtung 1 anhand der Positionsbeziehung zwischen der Erkennungsposition des Kandidaten für einen menschlichen Körper und dem ausgeschlossenen Bereich des Objekts bestimmen, ob der Kandidat für einen menschlichen Körper fälschlicherweise erfasst wurde oder nicht. Der ausgeschlossene Bereich wird als ein Bereich festgelegt, der den menschlichen Körper nicht überlappt. Da festgestellt werden kann, dass der Kandidat für einen menschlichen Körper, der den ausgeschlossenen Bereich überlappt, fälschlicherweise erkannt wurde, kann die Personenerkennungsvorrichtung 1 den menschlichen Körper genauer erkennen.
-
Darüber hinaus kann die Personenerkennungsvorrichtung 1 anhand des Verhältnisses des Bereichs, in dem der Kandidat für den menschlichen Körper das Objekt überlappt, feststellen, ob der Kandidat für den menschlichen Körper fälschlicherweise erkannt wurde oder nicht. Die Personenerkennungsvorrichtung 1 überprüft die Gültigkeit des Positionsverhältnisses in Abhängigkeit davon, wie sehr der Körperkandidat das Objekt überlappt, um eine Fehlererkennung derart durchzuführen, dass der menschliche Körper genauer erkannt werden kann.
-
Modifikation
-
In der Ausführungsform wird anhand der Positionsbeziehung zwischen dem menschlichen Körper und den umgebenden Objekten bestimmt, ob der Kandidat für den menschlichen Körper fälschlicherweise erkannt wurde oder nicht. Im Gegensatz dazu wird in einer Abwandlung die Körperhaltung des menschlichen Körpers anhand der Positionsbeziehung zwischen dem menschlichen Körper und einem umgebenden Objekt geschätzt.
-
10 ist eine Ansicht, die ein Konfigurationsbeispiel eines Überwachungssystems mit einer Personenerkennungsvorrichtung gemäß der Modifikation zeigt. Eine Personenerkennungsvorrichtung 1 gemäß der Modifikation umfasst zusätzlich zu der Konfiguration der in 3 dargestellten Ausführungsform einen Haltungsschätzer 27. Der Haltungsschätzer 27 schätzt die Haltung und die Bewegung des detektierten menschlichen Körpers (Kandidaten für einen menschlichen Körper) anhand des Detektionsergebnisses des menschlichen Körpers oder des aus dem Fischaugenbild detektierten Objekts. Der Haltungsschätzer 27 kann die Haltung des menschlichen Körpers anhand einer Positionsbeziehung zwischen dem menschlichen Körper und dem umgebenden Objekt schätzen. Darüber hinaus kann der Haltungsschätzer 27 die Bewegung des menschlichen Körpers, wie z. B. Stehen oder Sitzen, anhand einer Änderung der Positionsbeziehung zwischen dem menschlichen Körper und dem Objekt gegenüber einem Bild vor dem aktuellen Bild schätzen. Der Haltungsschätzer 27 kann die Bewegung des menschlichen Körpers auch anhand einer Änderung der Form des menschlichen Körpers gegenüber dem vorherigen Bild schätzen.
-
11 ist ein Flussdiagramm der Verarbeitung der menschlichen Haltungsschätzung. Der Gesamtablauf der Schätzung der menschlichen Körperhaltung wird unter Bezugnahme auf 11 beschrieben. Man beachte, dass das Flussdiagramm in 11 die Verarbeitung eines Fischaugenbildes mit einem Einzelbild darstellt. In einem Fall, in dem das Fischaugenbild mit 10 fps eingegeben wird, wird die Verarbeitung von 11 10 Mal in einer Sekunde ausgeführt. Die Verarbeitung in jedem der Schritte S100 und S101 ähnelt der Verarbeitung in jedem der Schritte S40 und S41 in 4, und daher entfällt deren Beschreibung.
-
Der Haltungsschätzer 27 schätzt die Haltung und Bewegung einer Person anhand der Erfassungsergebnisse des menschlichen Körpers und des in S101 erfassten Objekts (Schritt S102). Der Haltungsschätzer 27 erfasst einen Typ eines Objekts um den erfassten menschlichen Körper. Wenn es sich bei dem Objekt um einen Stuhl handelt und der menschliche Körper den Stuhl überlappt, wird geschätzt, dass die erkannte Person sitzt. Auch wenn es sich bei dem Objekt um einen Schreibtisch handelt und der menschliche Körper sich vor dem Schreibtisch befindet, wird angenommen, dass die Person sitzt.
-
Der Haltungsschätzer 27 kann auch die Bewegung der Person unter Bezugnahme auf das im Speicher 23 gespeicherte Erfassungsergebnis des vorherigen Bildes schätzen. Wenn zum Beispiel ein Stuhl, der im vorherigen Bild erkannt wurde, im aktuellen Bild nicht erkannt wird, und ein menschlicher Körper um den Stuhl herum erkannt wird, kann der Haltungsschätzer 27 schätzen, dass eine Person, die stand, sich hingesetzt hat. Wenn die Form des Körpers der Person, die im vorherigen Bild erkannt wurde, länger wird, kann der Haltungsschätzer 27 außerdem schätzen, dass die Person aus dem sitzenden Zustand aufgestanden ist. Umgekehrt kann der Haltungsschätzer 27 schätzen, dass sich die Person aus dem stehenden Zustand gesetzt hat, wenn die Form des Körpers der im vorherigen Bild erfassten Person kürzer wird.
-
Schließlich gibt die Ausgabeeinheit 26 das geschätzte Ergebnis an das externe Gerät aus (Schritt S103). Damit ist die Verarbeitung eines Einzelbildes des Fischaugenbildes beendet.
-
Wirkungen der Modifikation
-
Es ist schwierig, die Haltung oder Bewegung der Person nur durch die Analyse des Bildes des menschlichen Körpers aus dem Fischaugenbild zu schätzen. In der vorliegenden Modifikation kann die Personenerkennungsvorrichtung 1 ein Objekt um den menschlichen Körper herum erkennen und die Haltung und Bewegung des menschlichen Körpers basierend auf der Positionsbeziehung zwischen dem menschlichen Körper und dem Objekt schätzen. Wie oben beschrieben, kann die Personenerkennungsvorrichtung 1 den menschlichen Körper, einschließlich der Körperhaltung und Bewegung einer Person, genau erkennen.
-
Weitere
-
Die obige Beschreibung der Ausführungsform veranschaulicht lediglich das Ausführungsbeispiel der vorliegenden Erfindung. Die vorliegende Erfindung ist nicht auf die oben genannten konkreten Ausführungsformen beschränkt, sondern es sind im Rahmen der technischen Idee verschiedene Modifikationen möglich. Zum Beispiel sind die Werte in der Tabelle in 7, die Schwellenwerte in der obigen Ausführungsform gezeigt, und dergleichen nur Beispiele für die Beschreibung. In der obigen Ausführungsform wurden die rechteckigen Begrenzungsrahmen beispielhaft dargestellt, aber es können auch Begrenzungsrahmen in einer anderen Form als einem Rechteck (Polygon, Ellipse, freie Figur usw.) verwendet werden.
-
Anhang 1
- (1) Eine Personenerkennungsvorrichtung (1), die ein Fischaugenbild analysiert, das von einer Fischaugenkamera (10) erhalten wird, die über einem Erkennungszielbereich (11) installiert ist, um eine Person (13) zu detektieren, die sich in dem Erkennungszielbereich befindet, wobei die Personenerkennungsvorrichtung umfasst:
- einen Detektor (21), der eingerichtet ist, einen Kandidaten für einen menschlichen Körper und ein um den Kandidaten für einen menschlichen Körper herum vorhandenes Objekt aus einem Fischaugenbild zu erkennen; und
- eine Fehlererkennungs-Bestimmungseinheit (25), die eingerichtet ist, anhand einer Positionsbeziehung zwischen einer Erkennungsposition des Kandidaten für einen menschlichen Körper und einer Erkennungsposition des um den Kandidaten für einen menschlichen Körper herum vorhandenen Objekts zu bestimmen, ob der Kandidat für einen menschlichen Körper fälschlicherweise erkannt wurde oder nicht.
- (2) Eine Personenerkennungsvorrichtung (1), die ein Fischaugenbild analysiert, das von einer Fischaugenkamera (10) erhalten wird, die über einem Erkennungszielbereich (11) installiert ist, um eine Person (13) zu detektieren, die sich in dem Erkennungszielbereich befindet, wobei die Personenerkennungsvorrichtung umfasst:
- einen Detektor (21), der eingerichtet ist, einen Kandidaten für einen menschlichen Körper und ein um den Kandidaten für einen menschlichen Körper herum vorhandenes Objekt aus einem Fischaugenbild zu erkennen; und
- einen Haltungsschätzer (27), der eingerichtet ist, eine Haltung des Kandidaten für einen menschlichen Körper anhand einer Positionsbeziehung zwischen einer Erkennungsposition des Kandidaten für einen menschlichen Körper und einer Erkennungsposition des um den Kandidaten für einen menschlichen Körper vorhandenen Objekts zu schätzen.
- (3) Personenerkennungsverfahren zum Analysieren eines Fischaugenbildes, das von einer Fischaugenkamera (10) erhalten wird, die über einem Erkennungszielbereich (11) installiert ist, um eine Person (13) zu erkennen, die sich in dem Erkennungszielbereich befindet, wobei das Personenerkennungsverfahren umfasst:
- einen Erfassungsschritt (S41) zum Erfassen eines Kandidaten für einen menschlichen Körper und eines um den Kandidaten für einen menschlichen Körper herum vorhandenen Objekts aus einem Fischaugenbild; und
- einen Schritt (S42) zum Bestimmen einer fälschlichen Erfassung, in dem bestimmt wird, ob der Kandidat für einen menschlichen Körper fälschlicherweise erfasst wurde oder nicht, basierend auf einer Positionsbeziehung zwischen einer Erkennungsposition des Kandidaten für einen menschlichen Körper und einer Erkennungsposition des Objekts, das um den Kandidaten für einen menschlichen Körper herum vorhanden ist.
-
Bezugszeichenliste
-
- 1
- Personenerkennungsvorrichtung
- 2
- Überwachungssystem
- 10
- Fischaugenkamera
- 11
- Erkennungszielbereich
- 12
- Decke
- 13
- Person
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
