DE112020001202T5

DE112020001202T5 - Objektverfolgungsvorrichtung und Objektverfolgungsverfahren

Info

Publication number: DE112020001202T5
Application number: DE112020001202.6T
Authority: DE
Inventors: Ayana Tsuji; Kiyoaki Tanaka
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2019-03-11
Filing date: 2020-02-27
Publication date: 2021-12-09
Also published as: WO2020184207A1; US11869199B2; JP7192582B2; US20220172374A1; CN113508420A; JP2020149111A

Abstract

Eine Objektverfolgungsvorrichtung enthält eine Speichereinheit, die im Voraus eine Referenz für eine Bewegungsmenge eines Objektes zwischen Frames für jede Position oder jeden Bereich auf einem Fischaugenbild speichert, eine Bestimmungseinheit, die basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Position eines Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames bestimmt, und eine Sucheinheit, die den Suchbereich in dem Bild des zweiten Frames nach dem Objekt durchsucht, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Technik zum Verfolgen eines Objektes unter Verwendung eines durch eine Fischaugenkamera aufgenommenen Bildes.
HINTERGRUND DER ERFINDUNG
Die Gebiete der Gebäudeautomation (GA; englisch: building automation, BA) und Fabrikautomation (FA) erfordern eine Anwendung, die die „Anzahl“, „Position“, „Flusslinie“ und dergleichen von Menschen unter Verwendung eines Bildsensors automatisch misst und Einrichtungen, wie beispielsweise Beleuchtung oder Klimaanlage, optimal steuert. Bei solch einer Anwendung wird zum Erhalten von Bildinformationen über einen größtmöglichen Bereich häufig eine mit einem Fischaugenobjektiv ausgestatte Ultraweitwinkel-Kamera verwendet (als Fischaugenkamera, omnidirektionale Kamera oder 360-Grad-Kamera bezeichnet, die jeweils vom gleichen Typ sind, und wobei hierin der Ausdruck „Fischaugenkamera“ verwendet wird).
Ein durch solch eine Fischaugenkamera aufgenommenes Bild ist stark verzerrt. Daher wird zum Erfassen oder Verfolgen eines menschlichen Körpers, eines Gesichts oder dergleichen anhand des durch die Fischaugenkamera aufgenommenen Bildes (nachstehend als ein „Fischaugenbild“ bezeichnet) allgemein ein Verfahren verwendet, unter welchem das Fischaugenbild im Voraus in eine Ebene entwickelt wird, um eine Verzerrung weitestgehend zu beseitigen, und dann der Verarbeitung zur Erfassung oder zur Verfolgung unterzogen wird, (siehe Patentschrift 1).
DOKUMENT DES STANDS DER TECHNIK
PATENTSCHRIFT
Patentschrift 1: Ungeprüfte japanische Patentveröffentlichung Nr. 2016-39539
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Die verwandte Technik weist jedoch die folgenden Probleme auf. Eines der Probleme ist eine Erhöhung der Gesamtverarbeitungskosten aufgrund der Vorverarbeitung zum Entwickeln des Fischaugenbildes in eine Ebene. Dies erschwert eine Echtzeitverarbeitung und kann zu Verzögerungen bei der Vorrichtungssteuerung führen, was nicht wünschenswert ist. Das andere Problem ist ein Risiko einer Fehlerfassung oder Fehlverfolgung aufgrund einer durch eine Verarbeitung während der Ebenenentwicklung verursachten erheblichen Deformation oder Unterteilung eines Bildes einer Person oder eines Objektes, die/das zum Zeitpunkt der Ebenenentwicklung an einer Grenze (Bildbruch) vorhanden ist, wie beispielsweise direkt unter der Fischaugenkamera.
Um die Probleme zu vermeiden, haben sich die vorliegenden Erfinder mit einem Ansatz befasst, bei dem das Fischaugenbild der Verarbeitung zur Verfolgung unverändert (d.h. „ohne Ebenenentwicklung“) unterzogen wird. Das Fischaugenbild erschwert jedoch eine Verfolgung, da eine Bewegungsmenge für jeden Bereich des Bildes verglichen zu einem normalen Kamerabild variiert.
Die vorliegende Erfindung erfolgte in Anbetracht der oben beschriebenen Umstände und daher ist eine Aufgabe der vorliegenden Erfindung, eine Technik zum Verfolgen eines Objektes anhand eines Fischaugenbildes mit einer hohen Geschwindigkeit und hohen Genauigkeit bereitzustellen.
MITTEL ZUM LÖSEN DES PROBLEMS
Die vorliegende Erfindung verwendet die folgende Konfiguration, um die oben beschriebene Aufgabe zu erfüllen.
Nach einem ersten Aspekt der vorliegenden Erfindung ist eine Objektverfolgungsvorrichtung geliefert, die ein in einem zu verfolgenden Bereich vorhandenes Objekt unter Verwendung eines Fischaugenbildes verfolgt, das durch eine Fischaugenkamera erhalten wird, die über dem zu verfolgenden Bereich installiert ist, wobei die Objektverfolgungsvorrichtung eine Speichereinheit, die im Voraus eine Referenz für eine Bewegungsmenge des Objektes zwischen Einzelbildern bzw. Frames für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, eine Bestimmungseinheit, die konfiguriert ist, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Position eines Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen, und eine Sucheinheit enthält, die konfiguriert ist, um den Suchbereich in dem Bild des zweiten Frames nach dem Objekt zu durchsuchen, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Die „Fischaugenkamera“ ist eine Kamera, die mit einem Fischaugenobjektiv ausgestattet ist und verglichen zu einer normalen Kamera zum Aufnehmen eines Bildes mit einem Ultraweitwinkel fähig ist. Beispiele der Fischaugenkamera enthalten eine omnidirektionale Kamera und eine 360-Grad-Kamera. Die Fischaugenkamera kann installiert werden, um von oberhalb des zu verfolgenden Bereiches nach unten gerichtet zu sein. Üblicherweise wird die Fischaugenkamera so installiert, dass die optische Achse derselben vertikal nach unten gerichtet ist, aber die optische Achse der Fischaugenkamera kann in Bezug auf die vertikale Richtung geneigt sein.
Die vorliegende Erfindung ermöglicht, dass die Verarbeitung zur Verfolgung mit einer hohen Genauigkeit und hohen Geschwindigkeit durch ein Verfahren zum Bestimmen der Position des Suchbereiches unter Berücksichtigung der Bewegungsmenge ausgeführt wird, die in einer von der Position des Objektes in dem Fischaugenbild abhängigen Weise variiert. Wenn die Fischaugenkamera ein Bild aus der Vogelperspektive von dem zu verfolgenden Bereich aufnimmt, verändert sich ein Erscheinungsbild (Bild) eines Objektes in einer von einem Positionsverhältnis mit der Fischaugenkamera abhängigen Weise erheblich. Selbst wenn ein zu verfolgendes Objekt verfolgt wird, das sich mit einer konstanten Geschwindigkeit bewegt, variiert daher die Bewegungsmenge des zu verfolgenden Objektes in dem Fischaugenbild tendenziell in einer von dem Positionsverhältnis mit der Fischaugenkamera abhängigen Weise. Das heißt, die Bewegungsmenge ist in der Mitte des Fischaugenbildes tendenziell größer, und je näher am Rand des Fischaugenbildes, desto geringer ist die Bewegungsmenge. Die Objektverfolgungsvorrichtung bestimmt unter Berücksichtigung solch einer Charakteristik des Fischaugenbildes den Suchbereich, der sich an einer Position befindet, die zum Verfolgen des zu verfolgenden Objektes in dem darauffolgenden Frame geeignet ist. Ferner ermöglicht die Beseitigung der Notwendigkeit einer Vorverarbeitung, wie beispielsweise eine Ebenenentwicklung des Fischaugenbildes, eine Hochgeschwindigkeitsverarbeitung.
Die Speichereinheit kann im Voraus eine Referenz für eine Größe des Suchbereiches für jede Position oder jeden Bereich auf dem Fischaugenbild speichern, und
die Bestimmungseinheit kann eine Größe des Suchbereiches in dem Bild des zweiten Frames basierend auf der Position des Objektes in dem Bild des ersten Frames und der Referenz für eine Größe bestimmen, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird. In dem Fischaugenbild variiert die Größe des Objektes tendenziell in einer Weise, die von dem Positionsverhältnis mit der Fischaugenkamera abhängig ist. Die Objektverfolgungsvorrichtung bestimmt unter Berücksichtigung solch einer Charakteristik des Fischaugenbildes den Suchbereich, der eine Größe aufweist, die zum Verfolgen des zu verfolgenden Objektes in dem darauffolgenden Frame geeignet ist.
Nach einem zweiten Aspekt der vorliegenden Erfindung ist eine Objektverfolgungsvorrichtung geliefert, die ein in einem zu verfolgenden Bereich vorhandenes Objekt unter Verwendung eines Fischaugenbildes verfolgt, das durch eine über dem zu verfolgenden Bereich installierte Fischaugenkamera erhalten wird, wobei die Objektverfolgungsvorrichtung eine Speichereinheit, die im Voraus eine Referenz für eine Größe eines Suchbereiches für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, eine Bestimmungseinheit, die konfiguriert ist, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Größe, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Größe des Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen, und eine Sucheinheit enthält, die konfiguriert ist, um den Suchbereich in dem Bild des zweiten Frames nach dem Objekt zu durchsuchen, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Die vorliegende Erfindung ermöglicht, dass die Verarbeitung zur Verfolgung mit einer hohen Genauigkeit und hohen Geschwindigkeit durch ein Verfahren zum Bestimmen der Größe des Suchbereiches unter Berücksichtigung des Erscheinungsbildes (beispielsweise der Bereich) des Objektes ausgeführt wird, das in einer von der Position des.Objektes in dem Fischaugenbild abhängigen Weise variiert. Wenn die Fischaugenkamera ein Bild aus der Vogelperspektive von dem zu verfolgenden Bereich aufnimmt, verändert sich ein Erscheinungsbild (Bild) eines Objektes in einer von einem Positionsverhältnis mit der Fischaugenkamera abhängigen Weise erheblich. Die Größe des Objektes, das in dem Fischaugenbild erscheint, ist in der Mitte des Fischaugenbildes am größten, und je näher am Rand des Fischaugenbildes, desto geringer ist die Größe. Das heißt, das Fischaugenbild weist eine Charakteristik auf, durch die sich die Größe (beispielsweise der Bereich) des Objektes in einer Weise verändert, die von einem Abstand von der Mitte des Bildes abhängig ist (je größer der Abstand, desto geringer die Größe). Der Bereich des Objektes für jede Position oder jeden Bereich auf dem Fischaugenbild kann auch basierend auf den optischen Charakteristiken der Fischaugenkamera, dem Positionsverhältnis zwischen der Fischaugenkamera 10 und dem zu verfolgenden Bereich und dergleichen geometrisch berechnet (vorhergesagt) werden. Die Objektverfolgungsvorrichtung bestimmt unter Berücksichtigung solch einer Charakteristik des Fischaugenbildes den Suchbereich, der eine Größe aufweist, die zum Verfolgen des zu verfolgenden Objekts in dem darauffolgenden Frame geeignet ist. Ferner ermöglicht die Beseitigung der Notwendigkeit einer Vorverarbeitung, wie beispielsweise Ebenenentwicklung des Fischaugenbildes, eine Hochgeschwindigkeitsverarbeitung.
Die Referenz für eine Größe kann derart festgelegt werden, dass die Größe umso größer ist, je näher dieselbe an der Mitte des Fischaugenbildes ist. Wie oben beschrieben wurde, ist die Größe des Objektes, das in dem Fischaugenbild erscheint, in der Mitte des Fischaugenbildes am größten, und je näher am Rand des Fischaugenbildes, desto geringer ist die Größe. Die Referenz für eine Größe kann unter Berücksichtigung solch einer Charakteristik festgelegt werden.
Beispielsweise kann die Referenz für eine Bewegungsmenge derart festgelegt werden, dass die Bewegungsmenge umso größer ist, je näher dieselbe an der Mitte des Fischaugenbildes ist. Wie oben beschrieben wurde, ist die Bewegungsmenge in der Mitte des Fischaugenbildes tendenziell größer, und je näher am Rand des Fischaugenbildes, desto geringer ist die Bewegungsmenge. Die Referenz für eine Bewegungsmenge kann unter Berücksichtigung solch einer Charakteristik festgelegt werden.
Die Bestimmungseinheit kann die Position des Suchbereiches in dem Bild des zweiten Frames basierend auf der Position des Objektes in dem Bild des ersten Frames, der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, und einer Bewegungsrichtung des Objektes bestimmen. Das Bestimmen der Position des Suchbereiches basierend auf der Bewegungsrichtung des Objekts zusätzlich zu der Position des Objektes in dem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position assoziiert wird, ermöglicht, dass die Verarbeitung zur Verfolgung mit einer höheren Genauigkeit und höheren Geschwindigkeit ausgeführt wird. Das heißt, das Berücksichtigen der Bewegungsrichtung ermöglicht, den Suchbereich einzugrenzen, wobei dadurch ermöglicht wird, dass die Verarbeitung zur Suche mit einer hohen Geschwindigkeit ausgeführt wird. Ferner ermöglicht eine Eingrenzung des Suchbereiches, die Möglichkeit zu reduzieren, dass ein anderes Objekt als das zu verfolgende Objekt in dem Suchbereich vorhanden ist, wobei dadurch ermöglicht wird, dass die Verarbeitung zur Suche mit hoher Genauigkeit ausgeführt wird.
Die Speichereinheit kann im Voraus eine Referenz für einen Verzerrungsgrad eines Bildes für jede Position oder jeden Bereich auf dem Fischaugenbild speichern und die Bestimmungseinheit kann die Position des Suchbereiches in dem Bild des zweiten Frames basierend auf der Position des Objektes in dem Bild des ersten Frames, der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, der Bewegungsrichtung des Objektes und der Referenz für einen Verzerrungsgrad bestimmen, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird. Da ein tatsächliches Fischaugenbild verzerrt ist, bewegt sich, wie oben beschrieben wurde, wenn sich das zu verfolgende Objekt in horizontaler Richtung oberhalb der Mitte des Fischaugenbildes bewegt, das zu verfolgende Objekt beispielsweise entlang einem Bogen, der in dem Fischaugenbild nach oben gekrümmt ist. Wenn sich das zu verfolgende Objekt andererseits in horizontaler Richtung unterhalb der Mitte des Fischaugenbildes bewegt, bewegt sich das zu verfolgende Objekt beispielsweise entlang einem Bogen, der in dem Fischaugenbild nach unten gekrümmt ist. Daher bestimmt die Objektverfolgungsvorrichtung den Suchbereich, der sich an einer geeigneten Position befindet, basierend auf der Verzerrung des Fischaugenbildes, um die Geschwindigkeit und Genauigkeit der Verarbeitung zur Verfolgung zu erhöhen.
Die Bestimmungseinheit kann eine Position des Suchbereiches in einer zu der Bewegungsrichtung des Objektes identischen Richtung basierend auf der Position des Objektes in dem Bild des ersten Frames, einer Position des Objektes in einem Bild des Frames vor dem Bild des ersten Frames und der Referenz für eine Bewegungsmenge bestimmen und eine Position des Suchbereiches in einer zu der Bewegungsrichtung des Objektes orthogonalen Richtung basierend auf der Position des Suchbereiches in der zu der Bewegungsrichtung des Objektes identischen Richtung und der Referenz für einen Verzerrungsgrad bestimmen. Das Fischaugenbild ist in der zu der Bewegungsrichtung des Objektes orthogonalen Richtung verzerrt. Daher ermöglicht das Bestimmen der Position in der zu der Bewegungsrichtung des Objektes orthogonalen Richtung basierend auf der Referenz für einen Verzerrungsgrad, dass die Position des Suchbereiches mit hoher Genauigkeit bestimmt wird.
Nach einem dritten Aspekt der vorliegenden Erfindung ist ein Objektverfolgungsverfahren zum Verfolgen eines in einem zu verfolgenden Bereich vorhandenen Objektes unter Verwendung eines Fischaugenbildes geliefert, das durch eine Fischaugenkamera erhalten wird, die über dem zu verfolgenden Bereich installiert ist, wobei das Objektverfolgungsverfahren das Zugreifen auf eine Speichereinheit, die im Voraus eine Referenz für eine Bewegungsmenge des Objektes zwischen Frames für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Position eines Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen, und Durchsuchen des Suchbereiches in dem Bild des zweiten Frames nach dem Objekt enthält, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Nach einem vierten Aspekt der vorliegenden Erfindung ist ein Objektverfolgungsverfahren zum Verfolgen eines in einem zu verfolgenden Bereich vorhandenen Objektes unter Verwendung eines Fischaugenbildes geliefert, das durch eine über dem zu verfolgenden Bereich installierte Fischaugenkamera erhalten wird, wobei das Objektverfolgungsverfahren das Zugreifen auf eine Speichereinheit, die im Voraus eine Referenz für eine Größe eines Suchbereiches für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Größe, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Größe des Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen, und Durchsuchen des Suchbereiches in dem Bild des zweiten Frames nach dem Objekt enthält, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Die vorliegende Erfindung kann als eine Objektverfolgungsvorrichtung betrachtet werden, die zumindest einige der oben beschriebenen Einheiten, eine Vorrichtung, die ein zu verfolgendes Objekt erkennt oder erfasst, eine Bildverarbeitungsvorrichtung oder ein Überwachungssystem enthält. Ferner kann die vorliegende Erfindung als ein Objektverfolgungsverfahren, ein Objekterkennungsverfahren, ein Objekterfassungsverfahren, ein Bildverarbeitungsverfahren oder ein Überwachungsverfahren betrachtet werden, die jeweils zumindest einen Teil der oben beschriebenen Verarbeitung enthalten. Ferner kann die vorliegende Erfindung als ein Programm zum Implementieren solch eines Verfahrens oder als ein nicht-transitorisches Aufzeichnungsmedium, das das Programm aufzeichnet, betrachtet werden. Es sollte beachtet werden, dass die oben beschriebenen Einheiten und oben beschriebene Verarbeitung zu einem zulässigen Grad miteinander kombiniert werden können, um die vorliegende Erfindung zu bilden.
EFFEKT DER ERFINDUNG
Nach der vorliegenden Erfindung kann ein Objekt anhand eines Fischaugenbildes mit hoher Geschwindigkeit und hoher Genauigkeit verfolgt werden.
Figurenliste

1 ist eine Darstellung, die ein Anwendungsbeispiel einer Objektverfolgungsvorrichtung nach der vorliegenden Erfindung zeigt.
2 ist eine Darstellung, die ein Beispiel eines Fischaugenbildes und eines umschließenden Rechtecks bzw. einer Bounding Box zeigt.
3 ist eine Darstellung, die eine Struktur eines Überwachungssystems zeigt, das die Objektverfolgungsvorrichtung enthält.
4 ist ein Ablaufplan einer Objektverfolgungsverarbeitung.
5 ist ein Ablaufplan einer Verarbeitung zur Bestimmung eines Suchbereiches.
6 ist eine Darstellung, die ein Beispiel einer Bewegungsmengentabelle zeigt.
7 ist eine Darstellung, die ein Beispiel einer Position eines Suchbereiches zeigt.
8 ist eine Darstellung, die ein Beispiel einer Größentabelle zeigt.
9 ist eine Darstellung, die ein Beispiel eines Umfangs bzw. Bereiches eines Suchbereiches zeigt.
Die 10A bis 10F sind Darstellungen, die ein Beispiel einer Verarbeitung zur Verfolgung unter einem Verfahren in der verwandten Technik zeigen.
Die 11A bis 11F sind Darstellungen, die ein Beispiel einer Verarbeitung zur Verfolgung unter einem Verfahren nach der vorliegenden Erfindung zeigen.
12 ist eine Darstellung, die einen Verzerrungsgrad eines Fischaugenbildes zeigt.

AUSFÜHRUNGSFORM DER ERFINDUNG
<Anwendungsbeispiel>
Eine Beschreibung eines Anwendungsbeispiels einer Objektverfolgungsvorrichtung nach der vorliegenden Erfindung wird in Bezug auf 1 erfolgen. Eine Objektverfolgungsvorrichtung 1 ist eine Vorrichtung, die ein Fischaugenbild analysiert, das durch eine über einem zu verfolgenden Bereich 11 (beispielsweise eine Decke 12 oder dergleichen) installierte Fischaugenkamera 10 erhalten wird, und ein Objekt 13 (beispielsweise eine Person oder dergleichen) verfolgt, das in dem zu verfolgenden Bereich 11 vorhanden ist. Die Objektverfolgungsvorrichtung 1 erfasst, erkennt und verfolgt das Objekt 13, das durch den zu verfolgenden Bereich 11, beispielsweise in einem Büro oder einer Fabrik, hindurch geht. Bei dem in 1 gezeigten Beispiel werden die zu verfolgenden Bereiche in den Fischaugenbildern 1 bis 3 jeweils durch eine Bounding Box 14 mit einer vierseitigen Form repräsentiert. Die Bounding Box 14 ist eine geschlossene Figur oder eine Rahmenlinie, die den zu verfolgenden Bereich angibt, und eine Figur, wie beispielsweise ein Polygon oder eine Ellipse, das/die den zu verfolgenden Bereich umgibt, wird als die Bounding Box 14 verwendet. Die Fischaugenbilder 1 bis 3 entsprechen den Fischaugenbildern in einem Frame f[t-1], einem Frame f[t] (Bild des ersten Frames) bzw. einem Frame f[t+1] (Bild des zweiten Frames). Ferner ist in dem Fischaugenbild 3 ein Suchbereich 15, der ein zu verfolgender Bereich in dem Frame f[t+1] ist, gezeigt. Der Suchbereich 15 wird basierend auf Ergebnissen von Frames vor dem t-Frame bestimmt. Ein Verfolgungsergebnis von der Objektverfolgungsvorrichtung 1 wird an eine externe Vorrichtung zur Verwendung beim beispielsweise Zählen der Personenanzahl, Steuern verschiedener Vorrichtungen, wie beispielsweise Beleuchtung und Klimaanlage, und Beobachten einer verdächtigen Person ausgegeben.
Wenn die Fischaugenkamera 10 ein Bild aus der Vogelperspektive von dem zu verfolgenden Bereich 11 aufnimmt, verändert sich ein Erscheinungsbild (Bild) eines menschlichen Körpers in einer Weise erheblich, die von einem Positionsverhältnis mit der Fischaugenkamera 10 abhängig ist. Selbst wenn ein zu verfolgendes Objekt verfolgt wird, das sich mit einer konstanten Geschwindigkeit bewegt, variiert daher die Bewegungsmenge des zu verfolgenden Objektes in dem Fischaugenbild tendenziell in einer Weise, die von dem Positionsverhältnis mit der Fischaugenkamera 10 abhängig ist. Das heißt, die Bewegungsmenge ist in der Mitte des Fischaugenbildes tendenziell größer, und je näher am Rand des Fischaugenbildes, desto geringer ist die Bewegungsmenge. Ferner variiert die Größe des menschlichen Körpers tendenziell in einer Weise, die von dem Positionsverhältnis mit der Fischaugenkamera 10 abhängig ist. Die Objektverfolgungsvorrichtung 1 ist dadurch gekennzeichnet, dass dieselbe zum Bestimmen eines Suchbereiches, der zum Verfolgen des zu verfolgenden Objektes in dem nächsten Frame geeignet ist, unter Berücksichtigung solch einer Charakteristik des Fischaugenbildes fähig ist, um die Geschwindigkeit und Genauigkeit der Verarbeitung zur Verfolgung zu erhöhen. Die Objektverfolgungsvorrichtung 1 ist ferner dadurch gekennzeichnet, dass dieselbe zum Verwenden des unveränderten Fischaugenbildes (das hießt, ohne Vorverarbeitung, wie beispielsweise Ebenenentwicklung oder Beseitigung einer Verzerrung) für die Objektverfolgungsverarbeitung fähig ist.
<Charakteristiken des Fischaugenbildes>
2 zeigt ein Beispiel des Fischaugenbildes, das von der Fischaugenkamera 10 aufgenommen bzw. erfasst wird. Ein Bild-Koordinatensystem weist einen Ursprung (0,0) an einer Ecke unten links des Fischaugenbildes, eine x-Achse, die sich entlang einer horizontalen Richtung nach rechts erstreckt, und eine y-Achse auf, die sich entlang einer Längsrichtung nach oben erstreckt.
Wenn die Fischaugenkamera 10 so installiert wird, dass die optische Achse derselben vertikal nach unten gerichtet ist, erscheint ein Bild in Draufsicht einer Person, die sich direkt unterhalb der Fischaugenkamera 10 befindet, in einer Mitte des Fischaugenbildes. Dann wird ein Depressionswinkel bzw. Tiefenwinkel in Richtung eines Randes des Fischaugenbildes kleiner und ein Bild der Person erscheint in einer Schrägansicht von oben. Ferner befinden sich die Füße eines in dem Fischaugenbild erscheinenden menschlichen Körpers nahe der Mitte des Bildes und der Kopf desselben nahe dem Rand des Bildes und derselbe ist in etwa parallel zu einer radialen Linie, die durch die Mitte des Bildes hindurch geht. Ferner ist die Mitte des Fischaugenbildes weniger anfällig für eine Verzerrung und die Bildverzerrung ist umso größer, je näher dieselbe am Rand des Fischaugenbildes ist. Selbst wenn sich das zu verfolgende Objekt mit einer konstanten Geschwindigkeit bewegt, variiert daher die Bewegungsmenge des zu verfolgenden Objektes zwischen Frames des Fischaugenbildes in einer Weise, die von der Position des Bildes abhängig ist.
Die Bezugsnummern 14a bis 14f bezeichnen jeweils eine Bounding Box, die angeordnet ist, um einen Bereich des menschlichen Körpers in dem Fischaugenbild zu umgeben. Nach der Ausführungsform wird zur Einfachheit der Bildverarbeitung eine Bounding Box verwendet, die eine vierseitige Form mit vier Seiten aufweist, die zu der x-Achse oder der y-Achse parallel sind.
Wie in 2 gezeigt, ist ferner die Größe des menschlichen Körpers, der in dem Fischaugenbild erscheint, in der Mitte des Fischaugenbildes am größten, und je näher am Rand des Fischaugenbildes, desto geringer ist die Größe des menschlichen Körpers. Das heißt, das Fischaugenbild weist eine Charakteristik auf, durch welche sich die Größe (beispielsweise der Bereich) der Bounding Box in einer Weise verändert, die von dem Abstand von der Mitte des Bildes abhängig ist (je größer der Abstand, desto kleiner die Größe). Der Bereich der Bounding Box für jede Position oder jeden Bereich auf dem Fischaugenbild kann auch basierend auf den optischen Charakteristiken der Fischaugenkamera 10, dem Positionsverhältnis zwischen der Fischaugenkamera 10 und dem zu verfolgenden Bereich 11 und der mittleren menschlichen Körpergröße geometrisch berechnet (vorhergesagt) werden.
(Erste Ausführungsform)
<Überwachungssystem>
Eine Beschreibung der Ausführungsform der vorliegenden Erfindung wird in Bezug auf 3 erfolgen. 3 ist ein Blockdiagramm, das eine Struktur eines Überwachungssystems zeigt, auf welches die Objektverfolgungsvorrichtung nach der Ausführungsform der vorliegenden Erfindung angewandt wird. Ein Überwachungssystem 2 enthält in erster Linie die Fischaugenkamera 10 und die Objektverfolgungsvorrichtung 1.
Die Fischaugenkamera 10 ist eine bildgebende Vorrichtung, die ein optisches System mit einem Fischaugenobjektiv und bildgebenden Element (ein Bildsensor, wie beispielsweise CCD oder CMOS) enthält. Wie beispielsweise in 1 gezeigt, kann die Fischaugenkamera 10 beispielsweise an der Decke 12 des zu verfolgenden Bereiches 11 installiert werden, wobei die optische Achse vertikal nach unten gerichtet ist, um ein omnidirektionales Bild (360-Grad-Bild) des zu verfolgenden Bereiches 11 aufzunehmen. Die Fischaugenkamera 10 ist mit der Objektverfolgungsvorrichtung 1 per Draht (wie beispielsweise ein USB-Kabel oder ein LAN-Kabel) oder per Funk (wie beispielsweise WiFi) verbunden und die Objektverfolgungsvorrichtung 1 erfasst Bilddaten, die durch die Fischaugenkamera 10 aufgenommen werden. Die Bilddaten können entweder ein monochromes Bild oder ein Farbbild sein und die Auflösung, Framerate und das Format der Bilddaten werden wie erwünscht bestimmt. Nach der Ausführungsform wird davon ausgegangen, dass ein monochromes Bild, das mit 10 fps (10 Bilder pro Sekunde) erfasst wird, verwendet wird.
Die Objektverfolgungsvorrichtung 1 nach der Ausführungsform enthält eine Bilderfassungseinheit 20, eine Einheit 21 zum Bestimmen eines Suchbereiches, eine Sucheinheit 22, eine Einrichtung 24 zur Erfassung eines menschlichen Körpers, einen Speicher 26, eine Ausgabeeinheit 27 und dergleichen.
Die Bilderfassungseinheit 20 weist eine Fähigkeit zum Erfassen der Bilddaten von der Fischaugenkamera 10 auf. Die folglich erfassten Bilddaten werden an die Einheit 21 zum Bestimmen eines Suchbereiches und die Einrichtung 24 zur Erfassung eines menschlichen Körpers weitergeleitet. Diese Bilddaten können in dem Speicher 26 gespeichert werden.
Die Einheit 21 zum Bestimmen eines Suchbereiches bestimmt einen Suchbereich, der ein Bereich ist, der nach einem zu verfolgenden Objekt zu durchsuchen ist. Der Suchbereich wird zum Durchsuchen nach einem zu verfolgenden Objekt, das einmal erfasst wurde, und Verfolgen desselben verwendet. Die Sucheinheit 22 weist eine Fähigkeit zum Durchsuchen nach einem zu verfolgenden Objekt anhand des Fischaugenbildes unter Verwendung eines Algorithmus zum Durchsuchen nach einem zu verfolgenden Objekt innerhalb des oben beschriebenen Suchbereiches auf. Ein Verfolgungswörterbuch bzw. Verfolgungsverzeichnis 23 ist ein Verzeichnis, in dem Informationen über Verfolgungsziele (zu verfolgende Objekte) und Merkmale derselben eingetragen werden.
Die Einrichtung 24 zur Erfassung eines menschlichen Körpers weist eine Fähigkeit zum Erfassen eines menschlichen Körpers oder dergleichen anhand des Fischaugenbildes unter Verwendung eines Algorithmus zum Erfassen eines menschlichen Körpers auf. Ein Verzeichnis 25 der Erfassung eines menschlichen Körpers ist ein Verzeichnis, in dem Bildmerkmale menschlicher Körper, die in dem Fischaugenbild erscheinen, im Voraus eingetragen werden.
Der Speicher 26 weist eine Fähigkeit zum Speichern des Fischaugenbildes, des Verfolgungsergebnisses und dergleichen auf. Die Ausgabeeinheit 27 weist eine Fähigkeit zum Ausgeben von Informationen, wie beispielsweise das Fischaugenbild oder das Verfolgungsergebnis, an eine externe Vorrichtung auf. Beispielsweise kann die Ausgabeeinheit 27 Informationen auf einer Anzeige anzeigen, die als die externe Vorrichtung dient, Informationen zu einem Computer übertragen, der als die externe Vorrichtung dient, oder Informationen oder ein Steuersignal an eine Beleuchtungsvorrichtung, eine Klimaanlage oder eine FA-Vorrichtung senden, die als die externe Vorrichtung dient.
Die Objektverfolgungsvorrichtung 1 kann beispielsweise ein Computer sein, der eine CPU (Prozessor), ein Gedächtnis bzw. einen Datenspeicher (memory), einen Speicher (storage) und dergleichen enthält. Dies verursacht, dass die in 3 gezeigte Struktur durch Laden eines in dem Speicher gespeicherten Programms in den Datenspeicher und Ausführen des Programms durch die CPU implementiert wird. Solch ein Computer kann ein Universalrechner sein, wie beispielsweise ein Personal Computer, ein Servercomputer, ein Tablet-Endgerät oder ein Smartphone, oder alternativ ein eingebetteter Computer sein, wie beispielsweise ein Bordcomputer. Alternativ kann die gesamte Struktur, die in 3 gezeigt ist, oder ein Teil derselben durch ein ASIC, ein FPGA oder dergleichen implementiert werden. Alternativ kann die gesamte Struktur, die in 3 gezeigt ist, oder ein Teil derselben durch Cloud-Computing oder verteiltes Rechnen implementiert werden.
<Objektverfolgungsverarbeitung>
4 ist ein Ablaufplan der Objektverfolgungsverarbeitung, die durch das Überwachungssystem 2 auszuführen ist. Eine Beschreibung eines Gesamtablaufs der Objektverfolgungsverarbeitung wird in Bezug auf 4 erfolgen. Man beachte, dass der in 4 gezeigte Ablaufplan eine Verarbeitung an dem Fischaugenbild für einen Frame zeigt. Wenn das Fischaugenbild mit 10 fps erfasst wird, wird die in 4 gezeigte Verarbeitung 10-mal pro Sekunde ausgeführt.
Zunächst erfasst die Bilderfassungseinheit 20 das Fischaugenbild für einen Frame von der Fischaugenkamera 10 (Schritt S40). Wie in HINTERGRUND DER ERFINDUNG beschrieben, wird in der verwandten Technik ein in eine Ebene entwickeltes Bild erzeugt, das aus dem Beseitigen einer Verzerrung aus dem Fischaugenbild resultiert, und dann eine Bildverarbeitung, wie beispielsweise Verfolgen oder Erkennung, ausgeführt, aber das Überwachungssystem 2 nach der Ausführungsform führt eine Verarbeitung zur Verfolgung oder Erkennung an dem unverändert gelassenen (verzerrt gelassenen) Fischaugenbild aus.
Als Nächstes bestimmt die Objektverfolgungsvorrichtung 1, ob ein unter Verfolgung stehendes Objekt (als Verfolgungsziel bezeichnet) vorhanden ist, (Schritt S41). Wenn ein zu verfolgendes Objekt in einem beliebigen Frame vor dem gegenwärtigen Frame besteht, erfolgt eine Bestimmung, dass ein „Verfolgungsziel vorhanden ist“. Wenn das Verfolgungsziel vorhanden ist (Ja bei S41), bestimmt die Einheit 21 zum Bestimmen eines Suchbereiches einen Suchbereich in dem nächsten Frame (Schritt S42). Details der Verarbeitung zum Bestimmen eines Suchbereiches werden später beschrieben werden. Dann führt die Sucheinheit 22 eine Verfolgung durch Durchsuchen des Suchbereiches nach dem zu verfolgenden Objekt durch (Schritt S43) .
Beispiele des Verfolgungsverfahrens enthalten ein Verfahren zum Vorhersagen eines zu verfolgenden Bereiches basierend auf dem Grad der Ähnlichkeit im Farbmerkmal oder Formmerkmal zwischen Frames. Insbesondere kann ein Algorithmus, wie beispielsweise Vorlagenabgleich, Mean-Shift, Partikelfilter oder SURF-Tracking, verwendet werden. Nach der Ausführungsform wird der gesamte Körper einer Person als das zu verfolgende Objekt behandelt, aber die vorliegende Erfindung ist nicht auf die Konfiguration beschränkt und ein Teil des Körpers, wie beispielsweise der Oberkörper, kann als das zu verfolgende Objekt behandelt werden. Dann bestimmt die Sucheinheit 22, ob das Verfolgungsziel gefunden wurde, (Schritt S44). Wenn das Verfolgungsziel gefunden wurde (Ja bei S44), speichert die Sucheinheit 22 ein Verfolgungsergebnis in dem Speicher 26 (Schritt S45). Wenn kein Verfolgungsziel gefunden wurde (Nein bei S44), werden vorherige Verfolgungsergebnisse gelöscht (Schritt S46). Hierin enthalten Beispiele des Falls, in welchem kein Verfolgungsziel gefunden wurde, einen Fall, in dem sich das Verfolgungsziel aus dem Sichtwinkel der Fischaugenkamera heraus bewegt hat.
Als Nächstes erfasst die Einrichtung 24 zur Erfassung eines menschlichen Körpers einen menschlichen Körper anhand des Fischaugenbildes (Schritt S47). Wenn in dem Fischaugenbild eine Anzahl an Personen besteht, wird eine Anzahl an menschlichen Körpern erfasst. Ferner kann in vielen Fällen ein Objekt in Form eines nicht menschlichen Körpers (wie beispielsweise ein Elektrolüfter, ein Schreibtischstuhl oder eine Garderobe, der/die hinsichtlich der Form oder Farbe einem menschlichen Körper ähnelt) fälschlicherweise erfasst werden. Das Erfassungsergebnis kann beispielsweise Informationen über die Bounding Box enthalten, die einen Bereich, wie beispielsweise einen menschlichen Körper, indiziert, der folglich erfasst wurde. Die Informationen über die Bounding Box können beispielsweise Mittelpunktkoordinaten (x, y) (die einer Position entsprechen, an der der menschliche Körper oder dergleichen erfasst wird), eine Höhe h und eine Breite w der Bounding Box enthalten. Das Erfassungsergebnis wird in dem Speicher 26 gespeichert. Man beachte, dass, wenn kein Verfolgungsziel vorhanden ist (Nein bei S41), eine Verarbeitung in und nach dem Schritt S47 ausgeführt wird.
Man beachte, dass ein beliebiger Algorithmus auf die Erfassung eines menschlichen Körpers angewandt werden kann. Beispielsweise kann ein Klassifikator, der eine Kombination aus Bildmerkmalen, wie beispielsweise HoG oder Haar-ähnlich und Boosting, ist, angewandt werden oder eine Erkennung eines menschlichen Körpers basierend auf Deep Learning (beispielsweise R-CNN, Fast-R-CNN, YOLO, SSD oder dergleichen) angewandt werden. Nach der Ausführungsform wird der gesamte Körper einer Person als ein menschlicher Körper erfasst, aber die vorliegende Erfindung ist nicht auf solch eine Erfassung beschränkt und ein Teil des Körpers, wie beispielsweise der Oberkörper, kann erfasst werden.
Als Nächstes führt die Objektverfolgungsvorrichtung 1 das Verfolgungsergebnis mit dem Erfassungsergebnis zusammen (Schritt S48). Das folglich zusammengeführte Ergebnis wird beispielsweise in dem Speicher 26 gespeichert. Der Grund, warum die Erfassungsverarbeitung durch die Objektverfolgungsvorrichtung 1 ausgeführt wird, ist, dass, wenn ein anderes Objekt, das ein nicht zu verfolgendes Objekt in oder vor dem vorherigen Frame ist, in dem Fischaugenbild erscheint, dem Objekt eine für jedes zu verfolgende Objekt unikale Kennungsnummer (ID) basierend auf der Erfassungsverarbeitung zugeordnet wird, um als ein Verfolgungsziel in dem nächsten Frame behandelt zu werden. Man beachte, dass die Erfassungsverarbeitung in den Schritten S47, S48 alle paar Frames und nicht jeden Frame ausgeführt werden kann. Schließlich gibt die Ausgabeeinheit 27 das Verfolgungsergebnis und dergleichen an die externe Vorrichtung aus (Schritt S49). Dies ist das Ende der Verarbeitung an dem Fischaugenbild für einen Frame.
Bei der Objektverfolgungsverarbeitung nach der Ausführungsform wird das unveränderte Fischaugenbild analysiert und ein Objekt direkt anhand des Fischaugenbildes erfasst. Dies beseitigt die Notwendigkeit einer Vorverarbeitung, wie beispielsweise die Ebenenentwicklung des Fischaugenbildes oder die Beseitigung einer Verzerrung aus dem Fischaugenbild, was eine Hochgeschwindigkeits-Objektverfolgungsverarbeitung ermöglicht. Ferner wird nach der Ausführungsform der Suchbereich basierend auf dem Positionsverhältnis mit der Fischaugenkamera bestimmt, was ermöglicht, dass eine Verfolgung mit hoher Genauigkeit erfolgt.
<Verarbeitung zur Bestimmung eines Suchbereiches (S42)>
Eine Beschreibung eines spezifischen Beispiels der Verarbeitung zum Bestimmen eines Suchbereiches durch die Einheit 21 zum Bestimmen eines Suchbereiches wird erfolgen.
5 ist ein Ablaufplan der Verarbeitung zur Bestimmung eines Suchbereiches. Zunächst berechnet die Einheit 21 zum Bestimmen eines Suchbereiches eine Position eines Suchbereiches (Schritt S50). Die Position kann beispielsweise die Mittelpunktkoordinaten des Suchbereiches sein. Dann berechnet die Einheit 21 zum Bestimmen eines Suchbereiches eine Größe des Suchbereiches (Schritt S51). Schließlich bestimmt die Einheit 21 zum Bestimmen eines Suchbereiches den Suchbereich basierend auf der oben beschriebenen Position und Größe (Schritt S52). Details der Verarbeitung in den Schritten 50, S51 werden beschrieben werden.
(1) Verarbeitung zum Berechnen einer Position eines Suchbereiches (S50)
Wie oben beschrieben wurde, weist das Fischaugenbild eine Charakteristik auf, durch die sich die Bewegungsmenge des zu verfolgendes Objektes zwischen Frames in einer Weise verändert, die von dem Abstand von der Mitte des Bildes abhängig ist. Diese Charakteristik kann im Voraus durch Berechnung in eine numerische Form umgewandelt werden. 6 zeigt ein Beispiel, bei dem das Fischaugenbild in 36 (6 mal 6) kleine Bereiche unterteilt ist und ein Referenzwert für eine Bewegungsmenge für jeden kleinen Bereich berechnet wird. Eine Tabelle, in der der Referenzwert für eine Bewegungsmenge für jeden kleinen Bereich, der folglich erhalten wird, definiert ist, kann in beispielsweise dem Speicher 26 gespeichert werden. In der Annahme, dass eine A-Achse und eine B-Achse, die durch den Mittelpunkt des Bildes hindurch und parallel zu der x-Achse bzw. der y-Achse verlaufen, definiert sind, wie in 6 gezeigt, differiert die Bewegungsmenge symmetrisch um die A-Achse und die B-Achse herum. Die Verwendung dieser Symmetrie ermöglicht, dass der Speicher 26 beispielsweise nur eine 3 mal 3 Tabelle speichert, die einem Quadranten entspricht. Dies ermöglicht wiederum eine Verringerung der Speicherkapazität.
Eine Vorhersageposition des zu verfolgenden Objektes in dem Frame f[t+1] wird basierend auf der in 6 gezeigten Bewegungsmengentabelle, der Position des zu verfolgenden Objektes in dem Frame f[t-1] und der Position des zu verfolgenden Objektes in dem Frame f[t] berechnet (Gleichung 1). Nach der Ausführungsform wird die folglich berechnete Vorhersageposition des zu verfolgenden Objektes als die Position des Suchbereiches festgelegt. In der Gleichung 1 bezeichnet (x, y) die Position des zu verfolgenden Objektes in jedem Frame. Die Position (x, y) des zu verfolgenden Objektes kann beispielsweise die Mittelpunktkoordinaten der Bounding Box sein. Ferner bezeichnet in der Gleichung 1 α einen Wert, der basierend auf der oben beschriebenen Bewegungsmengentabelle bestimmt wird. Wenn die Position (x, y) des zu verfolgenden Objektes in dem Frame f[t] nahe der Mitte des Fischaugenbildes ist, wird beispielsweise bestimmt, dass α 1,5 ist.
[Math. 1] $(x_{t + 1}, y_{t + 1}) = (x_{t}, y_{t}) + a \times (x_{t} - x_{t - 1}, y_{t} - y_{t - 1})$
7 ist eine Darstellung, die ein Beispiel der Position des Suchbereiches (die Vorhersageposition des zu verfolgenden Objektes) zeigt, die unter Verwendung der oben beschriebenen Gleichung 1 berechnet wird. Bei dem in 7 gezeigten Beispiel wird basierend auf der Position in dem Frame f[t] und der in 6 gezeigten Bewegungsmengentabelle bestimmt, dass α 1,4 ist. Die Bewegungsmenge des zu verfolgenden Objektes ist umso größer, je näher dieselbe an der Mitte des Fischaugenbildes ist; daher wird, wie in 7 gezeigt, die Vorhersageposition des zu verfolgenden Objektes in dem Frame f[t+1] derart erhalten, dass die Bewegungsmenge zwischen den Frames f[t+1] und f[t] größer als die Bewegungsmenge zwischen den Frames f[t-1] und f[t] wird.
(2) Verarbeitung zum Berechnen einer Größe des Suchbereiches (S51)
Wie oben beschrieben wurde, weist das Fischaugenbild eine Charakteristik auf, durch welche sich der Bereich (die Größe) der Bounding Box in einer Weise verändert, die von dem Abstand von der Mitte des Bildes abhängig ist. Diese Charakteristik kann durch eine Berechnung im Voraus in eine numerische Form umgewandelt werden. 8 zeigt ein Beispiel, bei dem das Fischaugenbild in 36 (6 mal 6) kleine Bereiche unterteilt ist und ein Bereich (Anzahl von Pixeln) jedes kleinen Bereiches berechnet wird. Eine Tabelle, in welcher ein Referenzwert für eine Größe (beispielsweise ein Bereich) jedes folglich erhaltenen kleinen Bereiches definiert ist, kann in dem Speicher 26 gespeichert werden. Wie in 8 gezeigt, differiert der Referenzwert für eine Größe um den Mittelpunkt des Bildes herum symmetrisch. Die Verwendung dieser Symmetrie ermöglicht, dass der Speicher 26 beispielsweise nur eine 3 mal 3 Tabelle speichert, die einem Quadranten entspricht. Dies ermöglicht wiederum eine Verringerung der Speicherkapazität.
Die Größe jedes Suchbereiches in dem Frame f[t+1] wird basierend auf der in 8 gezeigten Größentabelle und der Größe der Bounding Box in dem Frame f[t] berechnet (Gleichung 2). In der Gleichung 2 bezeichnen w bzw. h eine horizontale Größe und eine vertikale Größe der Bounding Box, die dem zu verfolgenden Objekt in dem Frame f[t] entspricht. Ferner bezeichnen Bereich_w bzw. Bereich_h eine horizontale Größe und vertikale Größe des Suchbereiches in dem Frame f[t+1]. In der Gleichung 2 bezeichnet β ferner einen Wert, der basierend auf der oben beschriebenen Größentabelle bestimmt wird. Wenn die Koordinaten (x, y) des Frames f[t] nahe der Mitte des Fischaugenbildes sind, wird beispielsweise bestimmt, dass β 3,0 ist. Man beachte, dass die Größe des Suchbereiches wie bei der Gleichung 1 unter Berücksichtigung der Größe der Bounding Box des Frames f[t-1] erhalten werden kann.
[Math. 2] $({Bereich_w}_{t+1}, {Bereich_h}_{t+1}) = β \times (w_{t}, h_{t}) .$
9 ist eine Darstellung, die ein Beispiel der Größe des Suchbereiches zeigt, die unter Verwendung der oben beschriebenen Gleichung 2 berechnet wird. Bei dem in 9 gezeigten Beispiel wird basierend auf der Position (beispielsweise die Mittenposition der Bounding Box) in dem Frame f[t] und der in 8 gezeigten Bewegungsmengentabelle bestimmt, dass β 2,5 ist. Die Größe des zu verfolgenden Objektes ist umso größer, je näher dieselbe an der Mitte des Fischaugenbildes ist; daher wird die Größe des Suchbereiches in dem Frame f[t+1] vergrößert. Man beachte, dass β basierend auf der Position in dem Frame f[t+1], die durch die oben beschriebene Gleichung 1 erhalten wird, und der in 8 gezeigten Bewegungsmengentabelle bestimmt werden kann.
<Vorteilhafte Effekte der Ausführungsform>
Das Überwachungssystem nach der Ausführungsform bestimmt bei der Verarbeitung zur Verfolgung unter Verwendung der Fischaugenkamera den Suchbereich basierend auf den Charakteristiken des Fischaugenbildes, um die Geschwindigkeit und Genauigkeit der Verarbeitung zur Verfolgung zu erhöhen.
Eine Beschreibung eines Beispiels zum Erhöhen der Genauigkeit wird erfolgen. Unter dem Verfahren in der verwandten Technik wird eine Erhöhung oder Verringerung der Bewegungsmenge für das zu verfolgende Objekt nicht berücksichtigt, das sich nahe der Mitte des Fischaugenbildes befindet (10A). Daher kann sich das zu verfolgende Objekt möglicherweise aus dem Suchbereich 15 heraus in dem nächsten Frame bewegen (10B). Unter dem Verfahren nach der vorliegenden Erfindung wird die Größe des Suchbereiches 15 unter Berücksichtigung einer Erhöhung oder Verringerung der Bewegungsmenge für das zu verfolgende Objekt vergrößert, das sich nahe der Mitte des Fischaugenbildes befindet (11A). Dies verringert die Möglichkeit, dass sich das zu verfolgende Objekt möglicherweise aus dem Suchbereich 15 heraus bewegt, und ermöglicht folglich, dass eine Verfolgung mit hoher Genauigkeit erfolgen kann, (11B).
Eine Beschreibung eines Beispiels zum Erhöhen der Geschwindigkeit wird erfolgen. Unter dem Verfahren in der Verwandten Technik wird eine Zunahme oder Abnahme der Größe für das zu verfolgende Objekt nicht berücksichtigt, das sich von der Mitte des Fischaugenbildes entfernt befindet (10C). Wenn ein großer Suchbereich 15 bereitgestellt wird, obwohl die Größe der Bounding Box, die dem zu verfolgenden Objekt entspricht, in dem nächsten Frame gering ist, werden daher die Verarbeitungskosten höher als nötig (10D). Unter dem Verfahren nach der vorliegenden Erfindung wird die Verarbeitung zur Suche (Verarbeitung zur Verfolgung) an dem Suchbereich 15 ausgeführt, der eine Größe aufweist, die basierend auf der Position für das zu verfolgende Objekt bestimmt wird, das sich von der Mitte des Fischaugenbildes entfernt befindet (11C). Dies ermöglicht, dass die Verarbeitung zur Suche effizient ausgeführt wird, und ermöglicht eine Erhöhung der Geschwindigkeit der Verarbeitung (11D).
Ferner wird eine Beschreibung eines Beispiels erfolgen, bei dem eine Vielzahl von zu verfolgenden Objekten vorhanden sind. Wenn eine Vielzahl von zu verfolgenden Objekten an nahe beieinander liegenden Positionen in dem Fischaugenbild vorhanden sind (10E), überlappen unter dem Verfahren in der verwandten Technik ein Suchbereich 15a und ein Suchbereich 15b für die Vielzahl von zu verfolgenden Objekten einander möglicherweise in dem nächsten Frame, um zu verursachen, dass die zu verfolgenden Objekte miteinander die Plätze wechseln, (10F). Selbst wenn sich eine Vielzahl von zu verfolgenden Objekten an nahe beieinander liegenden Positionen in dem Fischaugenbild befinden (11E), wird unter dem Verfahren nach der vorliegenden Erfindung der Suchbereich unter Berücksichtigung der Vorhersageposition und Größe des zu verfolgenden Objektes in dem nächsten Frame angemessen bestimmt. Dies verringert die Möglichkeit, dass die Suchbereiche für das zu verfolgende Objekt einander möglicherweise überlappen, und ermöglicht folglich eine Erhöhung der Genauigkeit (11F).
(Zweite Ausführungsform)
Bei der ersten Ausführungsform, die oben beschrieben wurde, wurde das Verfahren zum Erhalten der Position des Suchbereiches in der Annahme beschrieben, dass, wenn sich das zu verfolgende Objekt linear bewegt, sich auch das zu verfolgende Objekt in dem Fischaugenbild linear bewegt. Wie in Bezug auf 2 beschrieben, ist das tatsächliche Fischaugenbild jedoch verzerrt. Wenn sich das zu verfolgende Objekt beispielsweise in horizontaler Richtung oberhalb der Mitte des Fischaugenbildes bewegt, bewegt sich daher das zu verfolgende Objekt entlang einem Bogen, der in dem Fischaugenbild nach oben gekrümmt ist. Wenn sich das zu verfolgende Objekt andererseits in horizontaler Richtung unterhalb der Mitte des Fischaugenbildes bewegt, bewegt sich das zu verfolgende Objekt beispielsweise entlang einem Bogen, der in dem Fischaugenbild nach unten gekrümmt ist. Daher wird nach der zweiten Ausführungsform bei der Verarbeitung zum Berechnen der Position des Suchbereiches, die oben beschrieben wurde, (S50), die Position basierend auf der Verzerrung des Fischaugenbildes berechnet. Man beachte, dass das Überwachungssystem nach der zweiten Ausführungsform hinsichtlich der Struktur dem Überwachungssystem nach der ersten Ausführungsform gleicht, und folglich wird keine Beschreibung der Struktur des Überwachungssystems erfolgen. In Bezug auf die Verarbeitung, die in dem Überwachungssystem nach der zweiten Ausführungsform ausgeführt wird, wird ferner nur die sich von der Verarbeitung nach der zweiten Ausführungsform unterscheidende Verarbeitung beschrieben werden und keine Beschreibung der gleichen Verarbeitung erfolgen.
Wie oben beschrieben wurde, weist das Fischaugenbild eine Charakteristik auf, durch welche sich der Verzerrungsgrad in einer Weise verändert, die von dem Abstand von der Mitte des Bildes abhängig ist. Diese Charakteristik kann durch eine Berechnung im Voraus in eine numerische Form umgewandelt werden. Eine in 12 gezeigte durchgezogene Linie repräsentiert ein Beispiel, bei dem das Fischaugenbild in 36 (6 mal 6) kleine Bereiche unterteilt ist, und der Verzerrungsgrad in der vertikalen Richtung für jeden kleinen Bereich wird durch eine quadratische Funktion repräsentiert. Eine in 12 gezeigte gestrichelte Linie repräsentiert ein Beispiel, bei dem der Verzerrungsgrad in der horizontalen Richtung für jeden kleinen Bereich durch eine quadratische Funktion repräsentiert ist.
Wie in 12 gezeigt, ist der Verzerrungsgrad umso größer, je weiter weg derselbe in einer zu der Bewegungsrichtung orthogonalen Richtung ist. Eine Tabelle der vertikalen Verzerrung und eine Tabelle der horizontalen Verzerrung, in welcher eine Referenz für einen Verzerrungsgrad für jeden kleinen Beriech, der folglich erhalten wird, definiert ist, kann beispielsweise in dem Speicher 26 gespeichert werden. Die Tabelle der vertikalen Verzerrung und die Tabelle der horizontalen Verzerrung können auch als Tabellen betrachtet werden, in welchen der Verzerrungsgrad in der zu der Bewegungsrichtung des zu verfolgenden Objektes orthogonalen Richtung definiert ist. In der Praxis können Werte von p und q (beispielsweise p1, q1) entsprechend jedem kleinen Bereich in der Tabelle der vertikalen Verzerrung und der Tabelle der horizontalen Verzerrung gespeichert werden. Man beachte, dass wie bei der ersten Ausführungsform die Tabelle der vertikalen Verzerrung und die Tabelle der horizontalen Verzerrung jeweils Änderungen zeigen, die um eine entsprechende Achse herum symmetrisch sind. Die Verwendung dieser Symmetrie ermöglicht, dass der Speicher 26 beispielsweise nur eine 3 mal 3 Tabelle speichert, die einem Quadranten entspricht. Dies ermöglicht wiederum eine Verringerung der Speicherkapazität.
Man beachte, dass der Verzerrungsgrad nach der Ausführungsform auch als ein Verzerrungsgrad in der zu der Bewegungsrichtung orthogonalen Richtung betrachtet werden kann. Insbesondere wird die Position des Suchbereiches in der gleichen Richtung wie die Bewegungsrichtung wie bei der ersten Ausführungsform erhalten. Dann kann die Position des Suchbereiches in der zu der Bewegungsrichtung orthogonalen Richtung basierend auf der Position des Suchbereiches in der Bewegungsrichtung und dem Referenzwert für einen Verzerrungsgrad bestimmt werden. Man beachte, dass der Referenzwert für einen Verzerrungsgrad in einer zu einer vorbestimmten Richtung orthogonalen Richtung bei der Bestimmung der Position des Suchbereiches verwendet werden kann, selbst wenn sich das Objekt in eine beliebige Richtung bewegt.
Die Vorhersageposition des zu verfolgenden Objektes in dem Frame f[t+1] wird basierend auf der Tabelle der vertikalen Verzerrung und der Tabelle der horizontalen Verzerrung, der Position des zu verfolgenden Objektes in dem Frame f[t-1] und der Position des zu verfolgenden Objektes in dem Frame f[t] berechnet. Wenn sich das zu verfolgende Objekt in horizontaler Richtung bewegt, wird eine Position x[t+1] in der horizontalen Richtung des Suchbereiches in dem Frame f[t+1] in gleicher Weise wie bei der ersten Ausführungsform erhalten. Dann wird eine Position y[t+1] in der vertikalen Richtung des Suchbereiches in dem Frame f[t+1] basierend auf der Funktion erhalten, die mit einem entsprechenden kleinen Bereich assoziiert wird, (Gleichung 3). Wenn sich das zu verfolgende Objekt in vertikaler Richtung bewegt, wird ferner die Position y[t+1] in der vertikalen Richtung des Suchbereiches in dem Frame f[t+1] in gleicher Weise wie bei der ersten Ausführungsform erhalten. Dann wird die Position x[t+1] in der horizontalen Richtung des Suchbereiches in dem Frame f[t+1] basierend auf der Funktion erhalten, die mit einem entsprechenden kleinen Bereich assoziiert wird, (Gleichung 4). Bei der vorliegenden Verarbeitung wird eine quadratische Funktion als ein Beispiel verwendet, aber eine beliebige Funktion, die den Verzerrungsgrad des Fischaugenbildes berücksichtigt, kann verwendet werden.
[Math. 3] ${\begin{cases} x_{t + 1} = x_{t} + a \times (x_{t} - x_{t - 1}) \\ y_{t + 1} = p \times {(x_{t + 1} - k)}^{2} + q \end{cases}$
[Math. 4] ${\begin{cases} x_{t + 1} = p \times {(y_{t + 1} - k)}^{2} + q \\ y_{t + 1} = y_{t} + a \times (y_{t} - y_{t - 1}) \end{cases}$
(Andere)
Die oben beschriebenen Ausführungsformen sind lediglich für Konfigurationsbeispiele nach der vorliegenden Erfindung veranschaulichend. Die vorliegende Erfindung ist nicht auf die oben beschriebenen spezifischen Ausgestaltungen beschränkt und verschiedene Modifikationen können innerhalb des Bereiches des technischen Gedankens der vorliegenden Erfindung vorgenommen werden. Beispielsweise sind die Werte in den in den 6 und 8 gezeigten Tabellen und die in den oben beschriebenen Ausführungsformen gezeigten Schwellenwerte lediglich Beispiele, die für die Beschreibung aufgeführt wurden. Ferner wurde bei den oben beschriebenen Ausführungsformen die Bounding Box mit einer vierseitigen Form als ein Beispiel aufgeführt, aber eine Bounding Box mit einer anderen Form als der vierseitigen Form (ein Polygon, eine Ellipse, eine Figur mit einer freien Form oder dergleichen) kann verwendet werden.
Ferner kann die Position des Suchbereiches basierend auf der Position des Objektes in dem gegenwärtigen Frame, dem Referenzwert für eine Bewegungsmenge und der Bewegungsrichtung des Objektes erhalten werden. Man beachte, dass bei den oben beschriebenen Ausführungsformen das Beispiel beschrieben wurde, bei dem die Bewegungsrichtung basierend auf der Position des Objektes in dem gegenwärtigen Frame und der Position des Objektes in dem Frame vor dem gegenwärtigen Frame erhalten wird, aber das Verfahren zum Erhalten der Bewegungsrichtung ist nicht auf ein spezifisches Verfahren beschränkt.
Die Position des Suchbereiches kann basierend auf der Position des Objektes in dem gegenwärtigen Frame und dem Referenzwert für eine Bewegungsmenge erhalten werden. Wie oben beschrieben wurde, ist die Bewegungsmenge in der Mitte des Fischaugenbildes tendenziell größer, und je näher am Rand des Fischaugenbildes, desto geringer ist die Bewegungsmenge. Dies liegt daran, dass der Suchbereich unter Berücksichtigung solch einer Charakteristik des Fischaugenbildes bestimmt werden kann, um sich an einer Position (kann als ein Bereich betrachtet werden) zu befinden, die zum Verfolgen des zu verfolgenden Objektes in dem darauffolgenden Frame geeignet ist.
Des Weiteren wurde bei den oben beschriebenen Ausführungsformen das Beispiel beschrieben, bei dem der Referenzwert für eine Bewegungsmenge und der Referenzwert für eine Größe, die mit der Position des Objektes assoziiert werden, bei der Bestimmung des Suchbereiches verwendet werden, aber der Suchbereich kann basierend auf lediglich entweder dem Referenzwert für eine Bewegungsmenge oder dem Referenzwert für eine Größe bestimmt werden. Wenn beispielsweise der Suchbereich hinsichtlich der Größe einheitlich gemacht wird, wird der Suchbereich basierend auf lediglich dem Referenzwert für eine Bewegungsmenge bestimmt, der oben beschrieben wurde. Wenn beispielsweise die Bewegungsmenge einheitlich gemacht wird, wird ferner der Suchbereich basierend auf nur dem Referenzwert für eine Größe bestimmt, der oben beschrieben wurde. Verschiedene Verfahren können als das Verfahren zum Bestimmen der Position des Suchbereiches verwendet werden, wenn der Suchbereich basierend auf nur dem Referenzwert für eine Größe bestimmt wird. Die Position des Suchbereiches kann beispielsweise basierend auf der Bewegungsmenge und Bewegungsrichtung des zu verfolgenden Objektes in den Frames f[t-1] und f[t] bestimmt werden und die Position des zu verfolgenden Objektes in dem Frame f[t] kann als die Position des Suchbereiches verwendet werden.
Ferner kann der Suchbereich hinsichtlich der Form basierend auf einem Aspektverhältnis variabel gemacht werden. Dies liegt daran, dass sich das Aspektverhältnis des Objektes in einer Weise verändert, die von einer Veränderung des Tiefenwinkels oder Azimutwinkels abhängig ist, wenn das Objekt von der Fischaugenkamera gemäß einer Position auf dem Fischaugenbild betrachtet wird. Beispielsweise kann eine Referenz für ein Aspektverhältnis festgelegt werden, um zu verursachen, dass der Suchbereich eine in etwa quadratische Form in einem mittigen Bereich des Fischaugenbildes und in einem Bereich aufweist, der sich in einem Winkel von 45 Grad in Bezug auf den mittigen Bereich befindet, zu verursachen, dass der Suchbereich eine vertikal lange rechteckige Form in oberen und unteren Bereichen relativ zu dem mittigen Bereich aufweist, und zu verursachen, dass der Suchbereich eine horizontal lange rechteckige Form in linken und rechten Bereichen relativ zu dem mittigen Bereich aufweist.
(Anhang 1)

(1) Objektverfolgungsvorrichtung (1), die ein in einem zu verfolgenden Bereich (11) vorhandenes Objekt (13) unter Verwendung eines Fischaugenbildes verfolgt, das durch eine über dem zu verfolgenden Bereich (11) installierte Fischaugenkamera (10) erhalten wird, wobei die Objektverfolgungsvorrichtung (1) eine Speichereinheit (26), die im Voraus eine Referenz für eine Bewegungsmenge des Objektes (13) zwischen Frames für jede Position oder jeden Bereich in dem Fischaugenbild speichert, eine Bestimmungseinheit (21), die konfiguriert ist, um basierend auf einer Position des Objektes (13) in einem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position des Objektes (13) in dem Bild des ersten Frames assoziiert wird, eine Position eines Suchbereiches (15) in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen, und eine Sucheinheit (22) enthält, die konfiguriert ist, um den Suchbereich (15) in dem Bild des zweiten Frames nach dem Objekt (13) zu durchsuchen, um eine Position des Objektes (13) in dem Bild des zweiten Frames zu spezifizieren.
(2) Objektverfolgungsvorrichtung (1), die ein in einem zu verfolgenden Bereich (11) vorhandenes Objekt (13) unter Verwendung eines Fischaugenbildes verfolgt, das durch eine über dem zu verfolgenden Bereich (11) installierte Fischaugenkamera (10) erhalten wird, wobei die Objektverfolgungsvorrichtung (1) eine Speichereinheit (26), die im Voraus eine Referenz für eine Größe eines Suchbereiches (15) für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, eine Bestimmungseinheit (21), die konfiguriert ist, um basierend auf einer Position des Objektes (13) in einem Bild des ersten Frames und der Referenz für eine Größe, die mit der Position des Objektes (13) in dem Bild des ersten Frames assoziiert wird, eine Größe des Suchbereiches (15) in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen, und eine Sucheinheit (22) enthält, die konfiguriert ist, um den Suchbereich (15) in dem Bild des zweiten Frames nach dem Objekt (13) zu durchsuchen, um eine Position des Objektes (13) in dem Bild des zweiten Frames zu spezifizieren.
(3) Objektverfolgungsverfahren zum Verfolgen eines in einem zu verfolgenden Bereich (11) vorhandenen Objektes (13) unter Verwendung eines Fischaugenbildes, das durch eine über dem zu verfolgenden Bereich (11) installierte Fischaugenkamera (10) erhalten wird, wobei das Objektverfolgungsverfahren das Zugreifen auf eine Speichereinheit (26), die im Voraus eine Referenz für eine Bewegungsmenge des Objektes (13) zwischen Frames für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, um basierend auf einer Position des Objektes (13) in einem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position des Objektes (13) in dem Bild des ersten Frames assoziiert wird, eine Position eines Suchbereiches (15) in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen (S42), und Durchsuchen des Suchbereiches (15) in dem Bild des zweiten Frames nach dem Objekt (13) enthält, um eine Position des Objektes (13) in dem Bild des zweiten Frame zu spezifizieren (S43) .
(4) Objektverfolgungsverfahren zum Verfolgen eines in einem zu verfolgenden Bereich (11) vorhandenen Objektes (13) unter Verwendung eines Fischaugenbildes, das durch eine über dem zu verfolgenden Bereich (11) installierte Fischaugenkamera (10) erhalten wird, wobei das Objektverfolgungsverfahren das Zugreifen auf eine Speichereinheit (26), die im Voraus eine Referenz für eine Größe eines Suchbereiches (15) für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, um basierend auf einer Position des Objektes (13) in einem Bild des ersten Frames und der Referenz für eine Größe, die mit der Position des Objektes (13) in dem Bild des ersten Frames assoziiert wird, eine Größe des Suchbereiches (15) in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen (S42), und Durchsuchen des Suchbereiches (15) in dem Bild des zweiten Frames nach dem Objekt (13) enthält, um eine Position des Objektes (13) in dem Bild des zweiten Frames zu spezifizieren (S43).

Bezugszeichenliste

1: Objektverfolgungsvorrichtung
2: Überwachungssystem
10: Fischaugenkamera
11: Zu verfolgender Bereich
12: Decke
13: Objekt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201639539 [0004]

Claims

Objektverfolgungsvorrichtung, die ein in einem zu verfolgenden Bereich vorhandenes Objekt unter Verwendung eines Fischaugenbildes verfolgt, das durch eine über dem zu verfolgenden Bereich installierte Fischaugenkamera erhalten wird, wobei die Objektverfolgungsvorrichtung Folgendes aufweist: eine Speichereinheit, die konfiguriert ist, um im Voraus eine Referenz für eine Bewegungsmenge des Objektes zwischen Frames für jede Position oder jeden Bereich auf dem Fischaugenbild zu speichern; eine Bestimmungseinheit, die konfiguriert ist, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Position eines Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen; und eine Sucheinheit, die konfiguriert ist, um den Suchbereich in dem Bild des zweiten Frames nach dem Objekt zu durchsuchen, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Objektverfolgungsvorrichtung nach Anspruch 1, wobei die Speichereinheit im Voraus eine Referenz für eine Größe des Suchbereiches für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, und die Bestimmungseinheit eine Größe des Suchbereiches in dem Bild des zweiten Frames basierend auf der Position des Objektes in dem Bild des ersten Frames und der Referenz für eine Größe bestimmt, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird.
Objektverfolgungsvorrichtung, die ein in einem zu verfolgenden Bereich vorhandenes Objekt unter Verwendung eines Fischaugenbildes verfolgt, das durch eine über dem zu verfolgenden Bereich installierte Fischaugenkamera erhalten wird, wobei die Objektverfolgungsvorrichtung Folgendes aufweist: eine Speichereinheit, die konfiguriert ist, um im Voraus eine Referenz für eine Größe eines Suchbereiches für jede Position oder jeden Bereich auf dem Fischaugenbild zu speichern; eine Bestimmungseinheit, die konfiguriert ist, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Größe, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Größe des Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen; und eine Sucheinheit, die konfiguriert ist, um den Suchbereich in dem Bild des zweiten Frames nach dem Objekt zu durchsuchen, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Objektverfolgungsvorrichtung nach Anspruch 2 oder 3, wobei die Referenz für eine Größe derart festgelegt wird, dass die Größe umso größer ist, je näher dieselbe an einer Mitte des Fischaugenbildes ist.
Objektverfolgungsvorrichtung nach Anspruch 1 oder 2, wobei die Referenz für eine Bewegungsmenge derart festgelegt wird, dass die Bewegungsmenge umso größer ist, je näher dieselbe an einer Mitte des Fischaugenbildes ist.
Objektverfolgungsvorrichtung nach einem der Ansprüche 1, 2 und 5, wobei die Bestimmungseinheit die Position des Suchbereiches in dem Bild des zweiten Frames basierend auf der Position des Objektes in dem Bild des ersten Frames, der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, und einer Bewegungsrichtung des Objekts bestimmt.
Objektverfolgungsvorrichtung nach einem der Ansprüche 1, 2, 5 und 6, wobei die Speichereinheit im Voraus eine Referenz für einen Verzerrungsgrad eines Bildes für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, und die Bestimmungseinheit die Position des Suchbereiches in dem Bild des zweiten Frames basierend auf der Position des Objektes in dem Bild des ersten Frames, der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, einer Bewegungsrichtung des Objektes und der Referenz für einen Verzerrungsgrad bestimmt, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird.
Objektverfolgungsvorrichtung nach Anspruch 7, wobei die Bestimmungseinheit eine Position des Suchbereiches in einer zu der Bewegungsrichtung des Objektes identischen Richtung basierend auf der Position des Objektes in dem Bild des ersten Frames, einer Position des Objektes in einem Bild des Frames vor dem Bild des ersten Frames und der Referenz für eine Bewegungsmenge bestimmt und eine Position des Suchbereiches in einer zu der Bewegungsrichtung des Objektes orthogonalen Richtung basierend auf der Position des Suchbereiches in der zu der Bewegungsrichtung des Objektes identischen Richtung und der Referenz für einen Verzerrungsgrad bestimmt.
Objektverfolgungsverfahren zum Verfolgen eines in einem zu verfolgenden Bereiches vorhandenen Objektes unter Verwendung eines Fischaugenbildes, das durch eine über dem zu verfolgenden Bereich installierte Fischaugenkamera erhalten wird, wobei das Objektverfolgungsverfahren Folgendes aufweist: Zugreifen auf eine Speichereinheit, die im Voraus eine Referenz für eine Bewegungsmenge des Objektes zwischen Frames für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Bewegungsmenge, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Position eines Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen; und Durchsuchen des Suchbereiches in dem Bild des zweiten Frames nach dem Objekt, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Objektverfolgungsverfahren zum Verfolgen eines in einem zu verfolgenden Bereich vorhandenen Objektes unter Verwendung eines Fischaugenbildes, das durch eine über dem zu verfolgenden Bereich installierte Fischaugenkamera erhalten wird, wobei das Objektverfolgungsverfahren Folgendes aufweist: Zugreifen auf eine Speichereinheit, die im Voraus eine Referenz für eine Größe eines Suchbereiches für jede Position oder jeden Bereich auf dem Fischaugenbild speichert, um basierend auf einer Position des Objektes in einem Bild des ersten Frames und der Referenz für eine Größe, die mit der Position des Objektes in dem Bild des ersten Frames assoziiert wird, eine Größe des Suchbereiches in einem Bild des zweiten Frames im Anschluss an das Bild des ersten Frames zu bestimmen; und Durchsuchen des Suchbereiches in dem Bild des zweiten Frames nach dem Objekt, um eine Position des Objektes in dem Bild des zweiten Frames zu spezifizieren.
Programm zum Verursachen, dass ein Computer jeden Schritt des Objektverfolgungsverfahrens nach Anspruch 9 oder 10 ausführt.