DE60209760T2

DE60209760T2 - Gesichtsbilderzeugungssystem zur bildaufnahme und automatisierte bestätigung der identität

Info

Publication number: DE60209760T2
Application number: DE60209760T
Authority: DE
Inventors: A. Gary North Gower VAN BEEK; James Andrew Ottawa ADLER; Daniel Marius Ottawa CORDEA; Adrian Simion Ottawa MOICA; R. William Merrickville ROSS; F. Joel Stittsville SHAW
Original assignee: Cryptometrics Inc
Current assignee: Cryptometrics Inc
Priority date: 2001-10-17
Filing date: 2002-10-17
Publication date: 2007-01-18
Anticipated expiration: 2022-10-18
Also published as: DK1444667T3; WO2003034361A1; HK1070167A1; US20050063566A1; CN100418112C; PT1444667E; CA2359269A1; EP1667080A1; ES2260476T3; EP1444667B1; US20090080715A1; CN1568489A; EP1444667A1; ATE320054T1; NZ532315A; DE60209760D1; JP2005505871A

Description

Erfindungsgebiet
Die Erfindung bezieht sich das Gebiet der Gesichtsbild-Fotografie und Identitätsbestätigung unter Verwendung von Gesichtsbildern und insbesondere auf die Einrichtung, mit der Gesichter aufgenommen und die Identität bestätigt werden können, und zwar unter Verwendung von Gesichtsbildern, die automatisch in Sicherheitsbereichen erhalten werden (d. h. ohne menschliche Einwirkung), wo die Bewegung von Menschen nicht durch Begrenzungen festgelegt werden kann.
Hintergrund der Erfindung
In einer Welt, in der der erwartete Terrorismus eine wachsende Bedrohung darstellt, besteht ein Bedarf, Individuen rasch zu sichten und abzubilden oder zu identifizieren, die Zugang zu bestimmten beschränkten Bereichen anstreben, beispielsweise Flughäfen, Sportstadien, politische Versammlungen, Gesetzgebungskörperschaften, gesellschaftliche Meetings, usw. Außerdem besteht ein Bedarf, Individuen, die Zugang zu einem Land durch dessen Vielzahl von Eintrittshäfen anstreben, auszusortieren und aufzunehmen oder zu identifizieren. Eine der Möglichkeiten zur Identifizierung derartiger Individuen ist die biometrische Identifikation, die Gesichtserkennungstechniken benutzen, welche sich eine Vielzahl von Messungen einzigartiger Gesichtsmerkmale einer Person als Mittel zur Identifikation zu eigen machen. Einige der Probleme, die mit der Gesichtserkennung als Mittel einer raschen Aussortierung und Identifizierung einzelner Personen, die Zugang zu einem Sicherheitsbereich anstreben, verbunden sind, sind der eine geringe Geschwindigkeit aufweisende Bildherstellung, die schlechte Qualität der erhaltenen Bilder und die Notwendigkeit, derartige Systeme human zu betreiben.
Versuche in der Vergangenheit, diese Probleme zu lösen, haben zur Entwicklung einer besonderen hochauflösenden Videokamera geführt, die zur Überwachung eines Sicherheitsbereiches benutzt wird, der zu einem Eingang führt. Typischer weise wurde eine fixe Brennweitenlinse an der Kamera benutzt. Software diente zur Analyse des Videobildes, um Gesichtsbilder festzustellen und abzuleiten, die in den Sicherheitsbereich eintreten. Diese Bilder wurden aufgenommen, gespeichert und der Gesichtserkennungs- und Vergleichs-Software übermittelt, um zu versuchen, die Individuen zu identifizieren und ihr Zugangsrecht zu dem Bereich zu verifizieren. Eines der Hauptprobleme derartiger Systeme besteht darin, daß die Videodaten eine geringe Auflösung haben und zu "geräuschvoll" sind, um folgerichtig gute Ergebnisse zu erzielen. Derartige Systeme arbeiten nur dann einigermaßen gut, wenn der Sicherheitsbereich klein ist und die Abstände zwischen den Zielen, die den Sicherheitsbereich betreten, und der Überwachungskamera, relativ konstant. Wenn der Sicherheitsbereich erweitert und/oder versucht wird, die Ziele an sich ändernde Abstände der Kamera anzupassen, so führt dies zu gewissen Zielen, die eine zu geringe Auflösung im Videobild haben, um eine angemessene Analyse für eine genaue Gesichtserkennung zu ermöglichen. Der Hauptnachteil solcher Systeme ist daher darin zu sehen, daß sie nur über einen sehr kleinen Winkel- und Tiefenbereich erfolgreich arbeiten. Die erreichte Bildqualität und damit der Erfolg der Gesichtserkennung auf derartigen Bildern ist unbefriedigend.
Andere vorhandene Systeme benutzen zwei Kameras, die eine als stationäre Weitwinkelkamera zur Überwachung des Sicherheitsbereiches und zur Ermittlung von Gesichtern, und ein zweite mit einem engeren Beobachtungsfeld, die mit Hilfe von Schwenk-, Neigungs- und Zoomfunktionen auf die Gesichter fokussiert werden kann, die von der ersten Kamera zum Zwecke der Gesichtsbilderfassung und ihrer Übermittlung zur Gesichtserkennung und zum Gesichtsvergleich an eine Datenbank identifiziert worden sind. Bei diesem Verfahren ist die zweite Kamera in der Lage, hochaufgelöste Bilder zu erhalten, die für eine genaue Gesichtserkennung erforderlich sind. Der Hauptnachteil dieser Systeme besteht jedoch darin, daß dann, wenn der Abstand von der ersten Kamera sich vergrößert, es schwierig wird, ein Ziel innerhalb eines Beobachtungsfeldes, das ein Gesicht enthält, zu erkennen. Des weiteren sind die motorisierten Schwenk-, Neigungs- und Zoomvor gänge der zweiten Kamera relativ langsam. Infolgedessen kann das System nur eine Person zu einem bestimmten Zeitpunkt erfassen.
Die US-6 122 445 offenbart eine Kamera, die einer separaten Wegefeststellungseinrichtung zugeordnet ist.
Eine andere Lösung besteht darin, motorisierte Neigungs-, Schwenk- und Zoomkameras zu benutzen, die von einem menschlichen Operator fernbedient werden, um einen Sicherheitsbereich zu überwachen. Derartige Systeme werden gewöhnlich dazu benutzt, große Flächen oder Gebäude zu überwachen. Eine Vielzahl von Kameras können hier Verwendung finden und normalerweise arbeitet jede mit einem Weitwinkelobjektiv. Wenn der Benutzer etwas von Interesse feststellt, kann er/sie durch Benutzung der motorisierten Steuerung den Zoom betätigen und ein Bild vom Gesicht einer Person für die Zwecke der Gesichtserkennung erhalten. Der Nachteil solcher Systeme besteht darin, daß sie die Präsenz eines Benutzers erfordern, um festzustellen und zu entscheiden, wenn die Gesichtsbilder zu machen sind. Ein solches System ist gewöhnlich zu langsam, so daß nicht mehr als eine Person gleichzeitig abgelichtet werden kann.
Noch eine andere Lösung besteht darin, Personen, die in einen Sicherheitsbereich eindringen wollen, zu veranlassen, einzeln langsamen Schrittes durch eine Überwachungszone zu gehen, was im wesentlichem dem Durchgang durch einen Metalldetektor in einem Airport gleicht. Eine einzelne, mit einem festen Fokus versehene Kamera ist in einem vorgegebenen Abstand angeordnet, um ein Bild des Gesichts der betreffenden Person zwecks Gesichtsvergleich und Gesichtserkennung aufzunehmen. Ein solches System beschränkt Jedoch ernsthaft den Personenfluß in den Sicherheitsbereich hinein und ist in vielen Fällen, beispielsweise in Sportstadien, völlig unbrauchbar. Darüber hinaus benötigt auch dieses System noch eine Operator, um sicherzustellen, daß die Kamera direkt auf das Gesicht einer Person gerichtet wird, und weist keinerlei Mittel auf, die sicherstellen, daß die richtige Bildeinstellung erhalten wird.
Aus dem obigen ergibt sich, daß ein Bedürfnis nach einem automatisierten Gesichtsbild-Erzeugungssystem besteht, das die Nachteile des Standes der Technik überwindet, indem es die Möglichkeit bietet, qualitativ hochwertige Gesichtsbilder von Personen, die in einen Sicherheitsbereich eintreten, rasch einzufangen und aufzunehmen und diese Bilder gewünschtenfalls einem Gesichtsvergleich und einer Identifizierung zugänglich zu machen. Es wäre vorteilhaft, wenn ein solches System ein automatisiertes, sehr genaues, schnelles Gesichtsermittlungs- und Gesichtsaufspürsystem aufweist, um das Einfangen von Gesichtsbildern zu erleichtern, und zwar zum Zwecke der Aufzeichnung und/oder des Gesichtsvergleiches und der Gesichtserkennung.
Zusammenfassung der Erfindung
Eine Aufgabe der vorliegenden Erfindung besteht darin, die obigen Nachteile durch Schaffung eines Gesichtsbildsystems zur überwinden, um rasch Gesichtsbilder von Zielpersonen innerhalb eines Sicherheitsbereiches zu ermitteln und qualitativ hochwertige Bilder von solchen Gesichtern zu machen, um sie aufzuzeichnen und/oder in Gesichtserkennungssystemen zum Zwecke der Gesichtsverifikation, Gesichtserkennung und des Gesichtsvergleiches zu benutzen.
Eine andere Aufgabe der Erfindung besteht darin, ein Kamerasystem für ein Gesichtsbildsystem zu schaffen, das in der Lage ist, eine Vielzahl von Zielgesichtern innerhalb eines Sicherheitsbereiches aufzuspüren und qualitativ hochwertige Bilder dieser Gesichter zur Aufzeichnung und/oder zur Benutzung in Gesichtserkennungssystemen zum Zwecke der Gesichtsverifikation, Gesichtserkennung und des Gesichtsvergleiches zu machen.
Eine weitere Aufgabe der vorliegenden Erfindung ist darin zu sehen, ein Gesichtsbildsystem zu entwickeln, das Gesichtsbilder ausreichender Größe und Auflösung erzeugt, und zwar gemäß den Erfordernissen bekannter Gesichtserkennungs- und Gesichtsvergleichssysteme, um es solchen Systemen zu ermöglichen, mit einem spitzen Wirkungsgrad zu arbeiten und besonders gute Ergebnisse bei der Gesichtsidentifikation und Gesichtsvergleich zu erreichen.
Noch eine weitere Aufgabe der Erfindung besteht darin, ein Gesichtsabbildungssystem zu schaffen, das Bereichsmeßdaten verwendet, die von einer Bereichsmeßdateneinheit oder einer anderen Einrichtung geliefert werden, sowie Videobilddaten, um die Gesichtsbildermittlung und die Gesichtsbildaufspürung zu unterstützen.
Noch eine andere Aufgabe der Erfindung besteht darin, ein Gesichtsbilderzeugungssystem zur Aufnahme und/oder automatischen Identifizierungsbestätigung eines Ziel innerhalb eines Sicherheitsbereiches zu schaffen, wobei das Gesichtsbilderzeugungssystem folgende Elemente aufweist: eine Kameraeinheit mit einem Kameraeinheitssteuerer, eine Bereicheinheit zur Ermittlung des Vorhandenseins des Ziels innerhalb des Sicherheitsbereiches und zur Schaffung von Bereichsdaten in Bezug auf das Ziel für die Kamerasteuereinheit sowie eine Videokamera zum Einfangen von Bildern des Ziels und zur Übermittlung der Zielbilder an die Kamerasteuereinheit, wobei letztere folgende Elemente aufweist: ein Gesichtsaufspürsystem, das so konfiguriert ist, daß es ein Gesichtsbild innerhalb von Zielbildern feststellt; ein Gesichtseinfangsystem, das so konfiguriert ist, daß es das Gesichtsbild einfängt, wenn das Gesichtsbild eine Qualität aufweist, die für die Gesichtserkennung ausreicht.
Die Videokamera selbst kann entweder vollständig oder teilweise betätigt werden, um ein Ziel einzufangen, beispielsweise durch Schwenken, Neigen und Fokussieren. Oder die Videokamera kann die Szene durch eine eingeschaltete Reflektoreinrichtung, beispielsweise einen Spiegel, beobachten, der das Beobachtungsfeld schnell verschieben kann. Die Ausrichtung der Kamera kann wenigstens anfänglich auch durch Bereichsdaten unterstützt werden, die von einem vorhandenen Sensor zur Verfügung gestellt werden.
Die Zahl bzw. Geschwindigkeit der eingefangenen Bilder stützt sich auf die Zeit, die jeder der speziellen Schritte für das Bildermitteln, Bildaufspüren und schließlich für das Bildeinfangen erfordert. Die Entscheidung, das Bild einzufangen, beruht auf dem Vorhandensein eines Bildes, das einen vorbestimmten Qualitätsanspruch erfüllt. Sobald ein Bild eingefangen worden ist, wird das System freigegeben, um den Zyklus zu wiederholen. Eine Aufgabe der Erfindung ist es, die Zykluszeit auf ein Mindestmaß zu beschränken.
Bei bevorzugten Ausführungsformen benutzt das hier beschriebene Gesichtsbilderzeugungssystem eine hohe Auflösung, eine steuerbare Videokamera und einen hochauflösenden, lasergestützten Bereichs- oder Entfernungsmesser. Der Entfernungsmesser scannt den beobachteten Sicherheitsbereich, typischerweise in einem Blickfeld von 45 ° annähernd alle 100 Millisekunden und zeichnet die Winkellagen, Entfernungen und Breiten aller in dem Feld befindlichen potentiellen Ziele auf. Die Tiefe des beobachteten Sicherheitsbereiches beträgt gewöhnlich 15 Meter, kann jedoch so abgeändert werden, daß sie zu der jeweiligen Installation paßt. Die Winkellagen, Entfernungen und Breiten der Ziele in dem überwachten Sicherheitsbereich werden an einen eine Kameraeinheit steuernden Computer geliefert, der die Daten bearbeitet und Befehle zur Ausrichtung der Videokamera auf Ziele von Interesse abgibt. Die Befehle dienen zum Schwenken, Neigen und Zoomen der Videokamera. Auf der Grundlage des Abstandes des Ziels wird die Zoomfunktion der Videokamera auf das erforderliche Maß aktiviert, um ein Videobild eines durchschnittlichen menschlichen Gesichtes zu erhalten, das wenigstens 20 % des Bildbereiches ausfüllt. Die Gesichtsermittlungs-Software, unterstützt durch die Bereichsdatenspezifizierung des Abstandes, der Winkellage und der Breite eines potentiellen Ziels dient zur Analyse des Bildes und zur Feststellung, wenn das Bild ein menschliches Gesicht enthält. Wenn ein Gesicht festgestellt wird, werden die Koordinaten der wesentlichen Gesichtsmerkmale berechnet und von der Videokamera dazu benutzt, um auf das Gesicht weiter zu zoomen, so daß es fast das gesamte Gesichtsfeld der Videokamera ausfüllt. Diese Koordinaten werden mit Bezug auf die Bereichsdaten und das Videobild ständig aktualisiert und können auch dazu dienen, das Aufspüren des Zielgesichtes, wenn es sich bewegt, zu erleichtern. Sobald die Bildqualität des Gesichtes als ausreichend festgestellt worden ist, also aufgrund der bestehenden Kriterien für die verwendeten Gesichtserkennungssysteme, werden Gesichtsbilder eingefangen und aufgenommen und/oder der Gesichtserkennungssoftware zur biometrischen Verifikation und Identifikation sowie zum Vergleich externen Datenbanken zugänglich gemacht.
Die für die vorliegende Erfindung verwendete Videokamera ist neuartig aufgebaut, wobei sie einen Hochgeschwindigkeits- und genauen Zielbetrieb ermöglicht. Die Fähigkeit der vorliegenden Erfindung zur schnellen Ausrichtung der Videokamera ermöglicht das gleichzeitige Einfangen vieler Personen innerhalb des Sicherheitsbereiches mit echtem Multiplexbetrieb. Die Videokamera ist in der Lage, sich schnell von einer Person auf die andere und dann wieder zurück auszurichten. Im Gegensatz zu anderen Videokameras mit motorgetriebener Schwenk-, Neigungs- und Zoomfunktion wird die Videokamera der vorliegenden Erfindung nicht auf einer Plattform bewegt, um den Schwenkvorgang durchzuführen. Statt dessen ist ein leichtgewichtiger Spiegel direkt auf einem Linearmotor mit sich bewegender Spule angeordnet und dient dazu, ein Bild eines Segments des Sicherheitsbereiches auf die Videokamera zu lenken. Durch Bewegen des Spiegels läßt sich das Sichtfeld der Videokamera rasch über den Sicherheitsbereich in einer sehr kurzen Zeit verschwenken, nämlich innerhalb von etwa 10 Millisekunden, so daß das System in der Lage ist, einen echten Multiplexbetrieb auszuführen. Das Neigen wird noch durch Bewegen der Videokamera selbst ausgeführt, jedoch sind bei normalen Betriebsabständen die Winkel, über die die Videokamera geneigt werden muß, um ein Gesichtsbild einzufangen, klein und können durch vorhandene Neigungs- oder Kippmechanismen leicht angepaßt werden. Das Zoomen wird ebenfalls in der üblichen Weise durch Bewegen der Linsenelemente der Videokamera erreicht.
Das erfindungsgemäße System kann auch eine Bildanalyselogik enthalten, die entweder am Ort der Kameraeinheit "an Bord" ist, oder sich an einem entfernten Ort befindet. Auf diese Weise läßt sich das Kamerasystem so programmieren, daß zusätzliche Bilder besonderer Individuen erhalten werden. Die Gesichtsaufspürdaten von dem Videobild lassen sich zur Verstärkung der Leistung der Gesichtser kennungslogik-Operationen verwenden. Die Bilddaten können mit Daten von einem vorhandenen Sensor kombiniert werden, um eine gute Befeuchtung sowie Haltungsbeurteilung sicherzustellen. Dies kann die Identitätsbestätigung verstärken und/oder dem System ermöglichen, einen vorgegebenen Übereinstimmungsstandard beizubehalten.
Die Vorteile der hier beschriebenen Vorgehensweise sind vielfältiger Natur. Bestätigungen der Videokamera werden vermieden, da sie nicht länger schnell rückwärts und vorwärts bewegt werden muß, um über den Sicherheitsbereich verschwenkt zu werden. Damit verbundene Verkabelungsprobleme werden ebenfalls vermieden. Es ist kein leistungsstarker Schwenkmotor oder zugehöriges Getriebe erforderlich, um eine schnelle Bewegung der Videokamera zu bewirken, und Getriebespielprobleme werden ausgeschaltet. Die Verwendung von Zielbereichsdaten zusammen mit Zielvideodaten ermöglicht dem System, Gesichter im Sicherheitsbereich genauer zu ermitteln und aufzuspüren und ermöglicht auch das Aufspüren von Mehrfach-Zielgesichtern. Video- und Bereichsdaten werden in komplementärer Weise verwendet, um bei der Gesichtsermittlung und -aufspürung vorhandene Unwägbarkeiten zu beseitigen, wenn nur eine einzige Datenquelle zur Verfügung steht. Die gegenwärtigen Gesichtserkennungs-Softwarealgorithmen sind mangelhaft, wenn die Eingabebilder das Gesicht in einer schlechten Haltung zeigen, schlecht belichtet sind oder schlecht geschnitten sind. Die Verwendung von Zielbereichsdaten in Verbindung mit Zielvideodaten ermöglicht eine genaue Auswahl genau zentrierter Bilder mit guter Beleuchtung und richtiger zeitlicher Abstimmung des Bildeinfangs, um eine korrekte Haltung sicherzustellen. Die verbesserte Bildqualität verbessert entscheidend den Gesichtserkennungsvorgang.
Weitere Aufgaben und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung in Verbindung mit den Zeichnungen, in denen bevorzugte Ausführungsbeispiele der Erfindung beschrieben und dargestellt sind.
Beschreibung der Zeichnungen
Die vorliegende Erfindung wird aus der folgenden Beschreibung mit Bezug auf die Zeichnungen weiter verdeutlicht. Es zeigen:
1 eine Draufsicht der Erfindung, eingebaut in einen Sicherheitsbereich;
2 eine Seitenansicht einer möglichen Einbauposition der Videokamera, eines drehbaren Spiegelsystems und der Entfernungseinheit der vorliegenden Erfindung in einem Sicherheitsbereich;
3 ein Blockdiagramm der Kameraeinheit der vorliegenden Erfindung, wie in 1 gezeigt;
4 ein Blockdiagramm der Netzarchitektur der vorliegenden Erfindung einschließlich multipler Kameraeinheiten und einer externen Steuerung.
Detaillierte Beschreibung der bevorzugten Ausführungsformen der Erfindung
In den 1 und 2 ist ein automatisches Identitätsbestimmungssystem 10 zur Überwachung von Zielen 1 und zum Erhalt von Bildern der Zielgesichter 2 gezeigt, die in einen Sicherheitsbereich 4 eintreten. Wie ebenfalls in dem Architekturblockdiagramm von 4 dargestellt, weist ein automatisches Identitätsbestätigungssystem 10 eine oder mehrere Kameraeinheiten 20 und einen externen Steuerer 50 auf. Zu den Kameraeinheiten 20 gehört eine Videokamera 21, ein drehbares Spiegelsystem 25, eine Bereichs- oder Entfernungsbestimmungs-Einheit 30 und ein Kameraeinheitsteuerer 40.
Es versteht sich aufgrund der gesamten Diskussion, daß der Sicherheitsbereich 4 ein dreidimensionaler Raum ist. Die senkrechte Richtung wird normalerweise vom Boden bis zur Decke des Sicherheitsbereiches gemessen, während vom Blickpunkt der Kameraeinheit 20 aus, die waagerechte Richtung von Seite zu Seite gemessen wird und die Tiefe von der Kameraeinheit 20 nach außen, und zwar auch normalerweise. Somit reicht für eine Person, die im Sicherheitsbereich 4 steht und auf die Kameraeinheit blickt, die senkrechte Richtung von ihren Füßen bis zu ihrem Kopf, die waagerechte Richtung von der linken Seite der Person zur rechten Seite und die Tiefe von der Vorderseite zur Rückseite der Person.
Kameraeinheit – Videokamera
Die Kameraeinheit 20 weist eine übliche Videokamera 21 des Typs auf, der häufig in Maschinenbildsystemen verwendet wird. Obgleich es eine große Zahl Kameramodelle gibt, die von verschiedenen Firmen hergestellt werden, reicht es für den hier beschriebenen speziellen Fall aus, daß der Anmelder eine Farbvideokamera verwendet hat, die von Sony hergestellt wird, und zwar das Modell EVI-400. Diese Kamera arbeitet mit Zoom, automatischer Belichtungssteuerung und automatischer Fokussierung. Die Videokamera 21 weist einen Videoausgang auf, mit dem Videosignale an den Kameraeinheitsteuerer 40 abgegeben werden, sowie eine Reihe von Schnittstellen-Eingängen/Ausgängen (I/O), um den Kameraeinheitsteuerer 40 so anzuschließen, daß unterschiedliche Kamerafunktionen, beispielsweise Zoom, Brennweite und Belichtung, gesteuert und überwacht werden. Um den Bereich, über den die Videokamera 21 arbeitet, zu vergrößern, wurde eine Telekonverterlinse 23 zusätzlich eingebaut, so daß ein Bild eines menschlichen Gesichtes 2 in maximaler Entfernung so eingefangen werden kann, daß das Gesicht das gesamte Videobild ausfüllt. Im vorliegenden Fall ist die maximale Entfernung jedoch willkürlich auf 15 Meter festgesetzt worden, indem die Empfindlichkeit des Entfernungsmessers 30 vergrößert wurde und die Brennweite der Linse 23 erhöht wurde, so daß die maximale Entfernung ausgedehnt werden kann. Die Kameraeinheit 20 weist einen Kippmotor 24 auf sowie eine diesen Motor antreibende Elektronik, um die Videokamera 21 auf- und abzukippen bzw. zu neigen, und dadurch in senkrechter Richtung abtasten zu lassen. Der Grad, in dem die Videokamera 21 in senkrechter Richtung gekippt werden muß, ist klein, da es nur erforderlich ist, den Unterschied in der senkrechten Höhe des Gesichtes einer Person von einem gewöhnlichen Bezugspunkt aus zu kompensieren, der normalerweise der durchschnittlichen Höhe des menschlichen Auges entspricht.
Wie oben bereits erwähnt, weist die Kameraeinheit 20 die Möglichkeit zur Fokussierung, zum Kippen und zum Zoomen auf, so daß eine rasche Bewegung der Videokamera 21 ermöglicht wird, um von dem Ziel 1 qualitativ hochwertige Gesichtsbilder zu erhalten. Diese Merkmale werden durch Kamerasteuersignale von dem Kameraeinheitsteuerer 40 über die Reihenschnittstelle gesteuert. Die Fokussierung auf ein spezielles ausgewähltes Ziel mit Hilfe des Entfernungsmessers 30 ist automatisiert und erfordert nur, daß die Videokamera 21 auf ein Ziel gerichtet wird. Das Zoomen wird durch eine Einstellung gesteuert, die anfänglich ermöglicht, das Blickfeld der Videokamera 21 erheblich größer zu machen als das, was einem durchschnittlichen menschlichen Gesicht bei der Zielentfernung geboten wird. Typischerweise wird das Zoom so eingestellt, daß das durchschnittliche menschliche Gesicht 20 % des Blickfeldes füllen würde. Das Zoom wird durch weitere Signale von dem Kameraeinheitsteuerer 40 verfeinert, und zwar auf der Basis der Daten von der Entfernungsmessereinheit 30 und der Videokamera 21. Bei der vorhandenen Einstellung wird die Kipp- oder Neigungsfunktion von einem externen Kippmotor 24 ausgeübt, der mit der Videokamera 21 verbunden ist, kann jedoch auch in anderen Konfigurationen als Teil der Videokamera 21 vorgesehen werden. Die Größe der Neigung, die erforderlich ist, um ein qualitativ hochwertiges Gesichtsbild eines Ziels 1 zu erhalten, begründet sich auf Daten der Entfernungsmessereinheit 30 und der Videokamera 21 und wird durch Signale von dem Kameraeinheitsteuerer 40 gesteuert. Die Größe der Entfernung ist wichtig, weil der Zielabstand bei der Bestimmung der Größe der erforderlichen Neigung hilfreich ist.
Dort wo das Blickfeld der Videokamera 21 rechtwinklig ist, wobei also eine Abmessung größer ist als die andere, wurde vom Anmelder gefunden, daß es vorteilhaft ist, die Videokamera so auszurichten, daß die längere Abmessung des Blickfeldes parallel zur senkrechten Richtung des Sicherheitsbereiches liegt, um dadurch den Eingangbereich für senkrechte Ziele, also beispielsweise Personen, innerhalb des Sicherheitsbereiches 4 zu vergrößern. Durch Vergrößerung des Einfangbereiches für senkrechte Ziele verringert der Anmelder die Größe der Videokameraneigung, die erforderlich ist, um ein qualitativ hochwertiges Gesichtsbild des Ziels zu erhalten.
Kameraeinheit – Drehbares Spiegelsystem
Die Kameraeinheit 20 weist ein drehbares Spiegelsystem 25 auf, das unmittelbar vor der Videokamera 21 angeordnet ist, wie in 1 gezeigt. Das drehbare Spiegelsystem 25 ist mit einem leichten Spiegel 26 versehen, der direkt auf einer senkrechten Motorwelle 27 eines Linearmotors 28 angebracht ist. Der Linearmotor 28 entspricht dem Typ, wie er in ständigen Computerantrieben Verwendung findet, und weist elektronische Servoantriebe auf, die ausreichen, um den Spiegel 26 schnell zu drehen und genau in die angestrebte Position zu bringen. Außerdem ist das System mit einem üblichen Positions-Feedback-System ausgerüstet, das di rekt auf der Welle 27 sitzt und einen Schaltkreis aufweist, der die genaue Position des Spiegels 26 liest und ein Positions-Feedback-Signal an die Servoantriebe aussendet. Wenn das Positions-Feedback-Signal zu einem Befehlssignal paßt, das von dem Kameraeinheitsteuerer 40 empfangen wird und die angestrebte Position des Spiegels 26 darstellt, kann der Motor 28 den Spiegel 26 direkt in die angestrebte Lage bringen.
Bei dem in den 1 und 2 dargestellten Aufbau bestimmt die Entfernungsmessereinheit 30 den Abstand (Tiefe), die Winkelstellung und die Breite des Ziels 1 innerhalb des Sicherheitsbereiches 4 und stellt diese Koordinaten dem Kameraeinheitsteuerer 40 zur Verfügung. Der Kameraeinheitsteuerer 40 sendet ein Spiegelbefehlssignal an das Spiegelsystem 25, um dadurch den Linearmotor 28 zu veranlassen, den Spiegel 26 in die richtige Lage zu drehen und damit eine horizontale Verschwenkung der Kameraeinheit 20 zu ermöglichen. Das Bild des Ziels 1, das auf den Spiegel 26 fällt, wird auf die Videokamera 21 gelenkt, um dadurch das Bild einzufangen. Durch schnelles Drehen des Spiegels 26 kann die Videokamera 21 wirkungsvoll über die ganze horizontale Spannweite des Sicherheitsbereiches 4 verschwenkt werden, und zwar in einem Bruchteil der Zeit, die eine normale Videokamera braucht, und zwar bei einer motorgetriebenen waagerechten Verschwenkung, um dieselbe Aufgabe zu erfüllen. Die Reaktionszeit ist derart, daß das Verschwenken von irgendeinem Ziel innerhalb des Sicherheitsbereiches 4 zu irgendeinem anderen Ziel innerhalb des Sicherheitsbereiches 4 in weniger als 100 Millisekunden durchgeführt wird. Dabei läßt sich eine Verschwenkungsgenauigkeit von weniger als 1/10° erreichen.
Das Spiegelsystem 25 kann eine Spiegelbremse (nicht gezeigt) aufweisen, die den Spiegel 26 an Ort und Stelle hält und verriegelt, sobald das gewünschte Ziel 1 erreicht ist. Die Spiegelbremse verhindert Schwingungen im Spiegel 26 und verbessert dadurch die Bildstabilität, wodurch somit die Bildqualität vergrößert wird. Bei einer bevorzugten Ausführungsform ist die Spiegelbremse ein Elektromagnet, der auf der Welle 27 sitzt.
Das Spiegelsystem 25 kann so angepaßt werden, daß es einen zweiten Freiheitsgrad der Drehbewegung aufweist, um dadurch auch die Videokamera 21 mit einer senkrechten Neigungsmöglichkeit zu versehen, so daß die Schwenkeigenschaft, die durch den externen Schwenkmotor 24 geboten wird, ersetzt wird. Bei der Alternative könnte ein zweites drehbares Spiegelsystem vorgesehen werden, das einen zweiten Spiegel aufweist, der auf einer Achse drehbar ist, die unter 90° zur Achse der Drehbewegung des Spiegels 26 angeordnet ist. In der Kombination würden die beiden drehbaren Spiegelsysteme eine Videokamera 26 mit sowohl senkrechter Schwenkung als auch horizontaler Neigung schaffen.
Kameraeinheit – Kamera/Sgiegelsystem-Steuerung
Wie aus 3 ersichtlich, ist eine Kamera/Spiegelsystem-Steuerung 39 mit Videokamera 21 und dem drehbaren Spiegelsystem 25 verbunden und weist Hardware- und Software-Komponenten zum Empfang von Kamera- und Spiegelsystem-Steuersignalen für den Kameraeinheitsteuerer 40 auf, sowie zur Steuerung der verschiedenen Funktionen der Videokamera 21 und des Spiegelsystems 25. Diese Funktionen betreffen Belichtung, Zoom, Tiefenschärfe, Neigung, Verschwenkung (Spiegeldrehung), Ein/Aus, Videokamera-Rahmengeschwindigkeit, Helligkeit und Kontrast. Die Kamera/Spiegelsystem-Steuerung 39 ist auch verantwortlich für die Rückmeldung des Zustands der verschiedenen Videokamera- 21 und Spiegelsystem- 25 Funktionen und die Übermittlung derselben an den Kameraeinheitsteuerer 40.
Kameraeinheit – Bereichs- bzw. Entfernungsmessereinheit
Wie aus den 1 bis 4 ersichtlich, weist die Kameraeinheit 20 eine Bereichs- bzw. Entfernungsmessereinheit 30 auf, um die Ziele 1 innerhalb des Sicherheitsbereiches 4 anzuordnen. Gemäß einem Merkmal der Erfindung entspricht die Entfernungsmessereinheit 30 einer gewöhnlichen, gut bekannten Konstruktion und verwendet eine fasergestützte Abstandsmessungsvorrichtung, die in Verbindung mit einem drehenden Spiegel mit einem Entfernungslinsen-Aufnahmesystem arbeitet, um den Sicherheitsbereich 4 abzutasten. Zur Berechnung der Entfernung des Ziels 1 dient ein Flugzeitprinzip. Bei der vorliegenden Konfiguration wird die Laserdiode mit einer Periode von etwa 10 Nanosekunden einmal während jedes 1/4-Grad-Drehung des Entfernungsmesserspiegels gepulst. Der Laserstrahl wird von dem sich drehenden Entfernungsmesserspiegel in den Sicherheitsbereich 4 reflektiert, und jeder zurückkehrende Impuls, der von dem Ziel 1 reflektiert wird, wird von dem Entfernungsmesserlinsen-Empfangssystem gemessen. Da der konstante Wert für die Lichtgeschwindigkeit und das Zeitintervall zwischen der Emission des Laserimpulses und der Rückkehrreflektion bekannt ist, läßt sich der Abstand zum Ziel 1 errechnen. Die Entfernungsmessereinheit 30 nimmt den Abstand (Tiefe), die Winkelposition und die Breite des ermittelten Ziels innerhalb des Bereichs 4 auf und sendet diese Information an den Kameraeinheitsteuerer 40. Da die Entfernungsmessereinheit 30 in der Lage ist, Meßdaten jedes 1/4 Grad aufzunehmen, können die Entfernungsmeßdaten zu einem Zielprofil führen, das sich analysieren läßt, um festzustellen, ob es mit dem Profil einer Person (relativ glatt) übereinstimmt. Ein vollständiger Scan des Sicherheitsbereiches 4 kann während jeder Drehung des Entfernungsmesserspiegels erreicht werden, die alle 100 Millisekunden auftritt, so daß ein extrem schnelle Ermittlung und Lokalisierung der darin befindlichen Ziele möglich ist. Die Scangeschwindigkeit des Bereiches 4 wird als Entfernungsmeßeinheits-Rahmengeschwindigkeit bezeichnet und läßt sich entsprechend den Anforderungen der Installation oder der Betriebsart variieren.
Die Entfernungsmeßeinheit 30 ist im allgemeinen unter der Videokamera 21 auf einem Niveau angeordnet, das gleich der durchschnittlichen Personenbrusthöhe ist. Die Videokamera 21 ist allgemein in der durchschnittlichen Personenaugenhöhe angeordnet. Jedoch sind auch andere Anordnungen für die Entfernungsmeßeinheit 30 und die Videokamera 21 möglich, und zwar in Abhängigkeit von den besonderen Umständen.
Der Leser wird verstehen, daß auch andere Konfigurationen für die Entfernungsmessereinheit 30 für den erfindungsgemäßen Zweck benutzt werden können. So kann beispielsweise ein sonargestütztes Entfernungsmeßsystem Verwendung finden oder ein Hochfrequenzradar oder eine Binokular/Differential-Parallaxe.
Kameraeinheit – Bereichs- bzw. Entfernungsmessereinheit-Steuerung
Die Entfernungsmessereinheit 30 weist eine Entfernungseinheitsteuerung 41 auf, die mit Hardware- und Softwarekomponenten ausgestattet ist, um die verschiedenen Funktionen der Entfernungsmessereinheit 30 zu erfüllen, einschließlich der Aufrechterhaltung einer Entfernungsspiegel-Drehgeschwindigkeit innerhalb spezieller Parameter, ferner der Regelung der Laserdioden-Energiespar-Betriebsarten, zu denen ein "Ruhezustand" gehört, der die Laserimpulsrate während "Tot-Zeiten" reduziert wird, sobald im Sicherheitsbereich kein Bedarf besteht, ferner gehören zu diesen Komponenten der Empfang von Steuerfunktionen von dem Kameraeinheitsteuerer 40 und die Aussendung von Statusinformationen, betreffend die Entfernungsmessereinheit 30, zum Kameraeinheitsteuerer 40 auf Anforderung. Die Entfernungsmessereinheit-Steuerung 41 bereitet Meßdaten mit Hil fe verschiedener Funktionen prozessual vor, zu denen Geräuschfilterungsfunktionen gehören, um gestreute Daten auszuschalten, die einzelne Scanpunkte ohne Bezug aufweisen, Bewegungsdurchschnittsbildung und Scanndurchschnittsbildung über multiple Scannlinien, um die Entfernungsdaten zu glätten, ferner Beispielgruppenberechnungen, um festzustellen, ob ermittelte Objekte Ziele von Interesse darstellen, die die erforderliche Breite in einem gegebenen Abstand aufweisen, des weiteren das Beschaffen von Koordinateninformationen von Zielen von Interesse in Form von Winkel, Radius (Abstand) und Breite und schließlich der Bau eines Profils aus Vektoren von den Entfernungsdaten jedes Ziels. Die Meßeinheitsteuerungs-Hardware 41 sendet entweder die rohen Meßdaten oder das vorbereitete, vektorisierte Entfernungsdatenprofil a den Kamereinheitsteuerer 40 zur weiteren Verarbeitung. Die vektorisierten Entfernungsdaten werden in der Form n(a1, r1, w1)(a2, r2, w2) ..., gesendet, wobei n die Anzahl der Ziele in dem gescannten Sicherheitsbereich darstellt, ax die Winkellage des Ziels x innerhalb des Sicherheitsbereiches, rx den Radius (Entfernung) zum Ziel x und wx die Breite des Ziels x. Die Entfernungsdaten werden an den Kameraeinheitsteuerer 40 auf Anforderung von der Entfernungseinheitsteuerung 41 gesendet oder kontinuierlich mit einer wählbaren (programmierbaren) Wiederholungsgeschwindigkeit.
Kameraeinheit – Kameraeinheitsteuerer
Die Kameraeinheit 20 weist auch einen Kameraeinheitsteuerer 40 auf, wie im Detail im Blockdiagramm von 3 dargestellt. Der Kameraeinheitsteuerer 40 ist mit der ganzen Hardware und Software ausgestattet, um zwischen der Videokamera 21, der Entfernungsmessereinheit 30, dem drehbaren Spiegelsystem 25 und dem externen Steuerer 50 eine Schnittstelle zu schaffen. Der Zweck des Kameraeinheitsteuerers 40 besteht darin, das Ermitteln, Aufspüren und Einfangen qualitativ hochwertiger Videobilder von Gesichtern 2 der Ziele 1 von Interesse innerhalb des Sicherheitsbereiches 4 zu steuern. Dies geschieht durch Prozeßeingangsdaten, die von der Entfernungsmessereinheit 30 und der Videokamera 21 erhalten werden, sowie durch Verwendung dieser Daten zur Berechnung geeigneter Steuerbefehlssignale, die an die Videokamera 21 und das drehbare Spiegelsystem 25 zurückgesendet werden. Dies ist im einzelnen im folgenden beschrieben, wenn die verschiedenen Komponenten des Kameraeinheitsteuerers 40 diskutiert werden. Der Kameraeinheitsteuerer 40 hat außerdem mit dem externen Steuerer 50 eine Schnittstelle, um externe Steuerbefehle zu empfangen und eingefangene Videobilder zu senden. Die externen Steuerbefehle dienen sowohl dazu, Komponenten der Kameraeinheiten 20 zu konfigurieren als auch ihr Verhalten zu modifizieren, beispielsweise ein bestimmtes Ziel im Sicherheitsbereich 4 im Auge zu behalten und aufzuspüren.
Kameraeinheit – Kameraeinheitsteuerer-Hardware
Der Kameraeinheitsteuerer 40 ist mit Hardware versehen, bestehend aus einem Computer mit CPU, RAM und einem Speicher mit Schnittstellenanschlüssen für Video-Eingang, serielle Schnittstellen und Hochgeschwindigkeits-I/O- sowie Ethernet-Schnittstelle. Der Ausgang der Videokamera 21 wird von dem Videoeingang aufgenommen. Der Ausgang von der Erkennungsmaßeinheit 30 und die Steuersignale zu dieser Einheit werden von einem der seriellen Eingänge empfangen. Die Steuersignale für die Videokamera 21 und das drehbare Spiegelsystem 25 werden an eine der anderen seriellen Eingänge gesandt. Die Netzschnittstelle dient zur Verbindung mit dem externen Steuerer 50. Andere Hardware-Konfigurationen sind für den Kameraeinheitsteuerer 40 möglich, beispielsweise könnten viele niedrigenergetische CPUs anstelle einer einzigen hochenergetischen CPU Verwendung finden, der Videoeingang von der Videokamera 21 könnte ein direkter digitaler Eingang sein oder die Schnittstelle mit dem äußeren Steuerer 50 könnte ein serielles oder drahtloses Hochgeschwindigkeitsnetz anstelle des Ethernetzes sein.
Kameraeinheit – Kameraeinheitsteuerer-Software
Der Kameraeinheitsteuerer 40 weist ein Kameraeinheitsteuer-Software auf, die mit einem modernen Netzwerk ausgestattet ist, das für ein Vielfach-Aufgaben-Betriebssystem geeignet ist, um den Betrieb und die planmäßige Abwicklung der vielfachen, unabhängigen, untereinander kommunizierenden Software-Komponenten zu steuern. Die Kameraeinheitsteuer-Softwarekomponenten weisen folgende Mittel auf: Videokamera-Datenverarbeitung 43; Entfernungsmeßeinheit-Datenverarbeitung 44; Kameraentfernungs-Maßeinheit-Steuerung 45; Gesichtsermittlung 46; Gesichtsaufspürung 47; Gesichtsbildeinfang 48; Kameraeinheitsteuerer-Systemsteuerung 49 sowie Kameraeinheitsteuerer-Kommunikation 60.
Die Videorahmen, die von der Videokamera 21 kommen, sind in einem Hardware-Videoeinfangpult asynchron digitalisiert. Diese Daten werden der Videokamera-Datenverarbeitung 43 übermittelt, die Software umfaßt, um grundlegende Bildver arbeitungsvorgänge auszuführen und dadurch die Eingangsdaten zu normalisieren, zu skalieren und zu korrigieren. Korrekturen werden hinsichtlich der Bildfarbe und der Geometrie auf der Grundlage üblicher Kalibrationsdaten ausgeführt. Die Bildverstärkung und die Geräuschfilterung werden durchgeführt, und die verarbeiteten Videobilddaten werden der Kameraeinheitsteuerer-Systemsteuerung 49 zugänglich gemacht, wo sie dazu dienen, eine Reihe Funktionen auszuführen, einschließlich Gesichtsfeststellung, Gesichtsaufspürung oder Gesichtsbildeinfangung (siehe unten). Die Meßdaten von der Entfernungseinheit 30 kommen entweder kontinuierlich oder auf Anforderung des Kameraeinheitsteuerer 40 an dem Kameraeinheitsteuerer 40 an. Die Entfernungsmeßdaten haben die Form einer Tabelle aus Werten von Distanz (Tiefe oder Radius), Winkel und Breite. Die Entfernungsmeßdaten werden von der Entfernungeinheit-Datenverarbeitung 44 verarbeitet, die eine Software zur Bestimmung der Position und der Lage der Ziele 1 in dem Sicherheitsbereich 4 aufweist. Heuristische Methoden werden zum Abziehen des Hintergrundes und zur Entfernung kleiner "Geräusch"-Durchmesser benutzt, so daß nur größere Objekte mit einer Größe, die ähnlich den angestrebten Zielen ist, welche Personen sind, verbleiben. Diese heuristischen Mittel sind intelligente Software-Module, die historische Wahrscheinlichkeits- und statistische Analysen der Daten zur Bestimmung der Eigenschaften der Gegenstände innerhalb des Sicherheitsbereiches benutzen. Wenn beispielsweise ein Objekt mit nur einer Abtastung der Entfernungsmessereinheit 30 festgestellt wurde und nicht auch in den vorhergehenden oder folgenden Abtastungen (Scans), kann mit Sicherheit angenommen werden, daß hier ein unechtes Ereignis aufgetreten ist, das ignoriert werden kann. In ähnlicher Weise können Grenzen für die Geschwindigkeit des Objekts bei seiner Bewegung im Sicherheitsbereich gesetzt werden. Wenn sich ein Objekt 5 Meter zwischen den Abtastungen bewegt, kann mit Sicherheit angenommen werden, daß es sich bei diesem Objekt um keine Person handelt. Zusätzlich werden Eichdaten an der Installation, wenn der Sicherheitsbereich 4 vollständig leer ist, genommen, um potentielle Ziele von feststehenden Objekten im Sicherheitsbereich zu trennen, wie beispielsweise Parksäulen und dergleichen (Hintergrundentfernung).
Die verarbeiteten Meßdaten werden der Kameraeinheitsteuerer-Systemsteuerung 49 zugänglich gemacht, wo sie zur Unterstützung der Gesichtsfeststellung und der Gesichtsaufspürung dienen. Die Entfernungsmeßeinheits-Datenverarbeitung 44 behält ein historisches Polster an vorherigen Entfernungsbereichsdaten für jedes Ziel 1 innerhalb des Sicherheitsbereiches 4, und zwar für ein bestimmtes Zeitinter vall. Dieses historische Polster dient zur Gesichtsermittlung 46 sowie zur Gesichtsaufspürung 47, um dadurch die Gesichtsermittlung und -aufspürung zu unterstützen. So kann beispielsweise ein einziges großes Objekt eine große Person oder zwei nahe beieinander stehende Personen sein. Wenn die Gesichter der beiden Personen nahe zusammen sind, kann es schwierig sein, zwischen den beiden Situationen zu unterscheiden. Bei Verwendung der historischen Polsterdaten ist es jedoch möglich, festzustellen, daß zwei einzelne kleinere Personen vorher getrennte Ziele waren und sich nun zusammengestellt haben. Somit können von der Entfernungsmeßeinheit 30 und der Videokamera 26 erhaltene zweideutige Daten geklärt werden.
Die Kamera/Entfernungsmeßeinheitsteuerung 45 weist eine Software auf, um alle Signale, die durch die Kameraeinheitsteuerer-Seriellausgänge I/O an die Videokamera 21, die Entfernungsmeßeinheit 30 und das drehbare Spiegelsystem 25 gesendet werden, zu verarbeiten. Diese Steuersignale gehen zu der Entfernungsmeßeinheitsteuerung 41 und der Kamera/Spiegelsystemsteuerung 39 und gründen sich auf die von der Kameraeinheitsteuerer-Systemsteuerung 49 erhaltenen Eingangssignale. Positionsänderungen des Ziels, gestützt auf Änderungen der Meßdaten von der Entfernungsmeßeinheit 30 sowie auf Änderungen der geometrischen Form des von der Videokamera 21 abgegebenen Zielvideobildes, werden durch die Kameraeinheitsteuerer-Systemsteuerung 49 bestimmt. Steuerkommandos zur Steuerung des Ein- und Ausschaltens der Videokamera; der Videokamera-Brennweite; der Videokameraneigung, der Spiegeldrehung (Verschwenkung); des Videokamerazoom; der Videokamera-Rahmengeschwindigkeit; der Videokamerahelligkeit und ihres Kontrastes; der Ein- und Ausschaltung der Entfernungsmessereinheit; sowie der Entfernungsmessereinheit-Rahmengeschwindigkeit werden über die Videokamera/Meßdateneinheit-Steuerung 45 abgegeben, um sowohl die Gesichtsfeststellung als auch das Gesichtsaufspüren zu erleichtern. Der Zweck der Steuersignale besteht darin, sicherzustellen, daß das Ziel richtig eingefangen und daß ein qualitativ hochwertiges Videobild des Zielgesichts erhalten wird, um das Gesicht zu erkennen. Dazu kommt, daß die Kamera/Entfernungsmessereinheit-Steuerung 45 die geeignete zeitliche Abstimmung der ausgesendeten Befehle bewerkstelligt, um eine zuverlässige Ausgabe und Ausführung dieser Befehle sicherzustellen und die Kameraeinheitsteuerer-Systemsteuerung 49 von irgendwelchen Problemen mit solchen Befehlen oder anderen Problemsituationen zu unterrichten, die mit der Videokamera 21, der Entfernungsmessereinheit 30 oder dem drehbaren Spiegelsystem 25 auftreten kön nen. Wenn beispielsweise das drehbare Spiegelsystem 25 nicht auf Steuerbefehle reagiert, wird angenommen, daß der Motor 28 versagt hat oder der Spiegel 26 festhängt, so daß ein Alarm ausgesandt wird, um zu signalisieren, daß Wartung benötigt wird. Die Gesichtfeststellung 46 weist eine Software zur Ermittlung von Gesichtsbildern innerhalb des Videobildes auf, das von der Videokamera 21 geliefert wird. Anfänglich verwendet die Gesichtsfeststellung 46 den gesamten Eingang des Videobildes zum Zwecke der Gesichtsfeststellung. Eine Anzahl unterschiedlicher, bekannter Software-Algorithmus-Strategien dient dazu, die Eingangsdaten zu bearbeiten, und heuristische Methoden werden in Verbindung mit diesen Daten in einer Weise benutzt, um die Zweideutigkeit, die dem Gesichtsfeststellungsprozeß anhaftet, auf ein Mindestmaß zu beschränken. Die Zweideutigkeit kann sich aus Faktoren ergeben wie: Schwankungen des Bildes aufgrund von Schwankungen im Gesichtsausdruck (nicht starr) und Texturunterschiede zwischen Bildern desselben Personengesichtes; kosmetische Kennzeichen wie Brillen oder ein Schnurrbart; und nicht vorhersagbare Bildbedingungen in einer freien Umgebung, wie etwa Beleuchtung. Da Gesichter dreidimensional sind, kann jede Änderung in der Lichtverteilung erhebliche Schattenwechsel ergeben, die zu einer erhöhten Variabilität des zweidimensionalen Gesichtsbildes beitragen. Die heuristischen Möglichkeiten, die bei der Bildermittlung 46 auftreten, sind mit einer Reihe Regeln verbunden, die so strukturiert sind, daß sie bestimmen, welche Softwarealgorithmen in bestimmten Situationen am verläßlichsten sind. So bieten beispielsweise bei idealen Lichtbedingungen der Hauptteil der Gesichtsfarbe und die Algorithmusform die gewünschte Genauigkeit bei hoher Geschwindigkeit. Entfernungsdaten von der Entfernungsmeßeinheit 30 werden hinzugenommen, um die Suche einzuengen und die Bestimmung der speziellen Bereich des Videobildes zu unterstützen, die höchstwahrscheinlich ein menschliches Gesicht enthalten, und zwar auf der Grundlage der Zielbreite und der historischen Bewegungskennzeichen der Ziele innerhalb des Sicherheitsbereiches 4.
Im folgenden werden einige der Softwarealgorithmen angegeben, die auf dem Gebiet bekannt sind, die von dem Anmelder in der Gesichtsermittlung benutzt werden:
Massengesichtsfarbe und Formschätzung;
Individuelle Gesichtsmerkmalsermittlung (für Augen, Nase, Mund, usw.) unter Verwendung geometrischer Zwänge zur Beseitigung unbrauchbarer Merkmale;
Künstliche neurale Netzwerkanalyse auf der Basis eines Trainings des Algorithmus für eine große Gruppe von Gesichtern und Nichtgesichtsdaten; und Bayesian Analyse unter Verwendung der Principle-Component-Analyse (PCA) oder der Eigengesicht-Auflösung des Gesichtsbildes.
Die folgenden zusätzlichen Schritten werden durch die erfindungsgemäße Gesichtsermittlung 46 ausgeführt, die Entfernungsmeßdaten von der Entfernungsmeßeinheit 30 verwendet, und, wie vom Anmelder gefunden wurde, die Möglichkeit der vorliegenden Erfindung vergrößert, ein Gesicht in dem Videobild zu entdecken:
Analyse der Entfernungsmeßdaten zur Isolierung personengroßer Ziele. Wie oben erwähnt, werden hierzu in der Legende Softwaremodule genutzt, und zwar unter Verwendung einer historischen Analyse, Wahrscheinlichkeitsanalyse und statistischen Analyse der Entfernungsmeßdaten zur Bestimmung der Eigenschaften der Objekte innerhalb des Sicherheitsbereiches und zur Eliminierung von Geräuschen, die von kleinen oder sich schnell bewegenden Objekten, die aller Wahrscheinlichkeit nach nicht Personen sind, herrühren. Die Meßdaten von der Entfernungsmeßeinheit 30 können zur Bestimmung von Zielen einer geeigneten Breite (30 cm bis 100 cm) und Form (glatte vordere Oberfläche) dienen. Wenn genau bekannt ist, wo sich das personengroße Ziel in dem Videobild befindet, so wird dadurch ein Startpunkt für den Beginn der Gesichtsermittlung geschaffen.
Analyse der Entfernungsmeßdatengeschichte zur Bestimmung des Vorhandenseins von Gruppen von Leuten. Dies geschieht durch Isolierung von personengroßen Zielen in jedem Videorahmen unter Verwendung der oben beschriebenen Technik auf der Basis einer Analyse der Meßdaten. Die Bewegungsschätzungs-Software, beispielsweise eine Kalman-Filterung, dient zur Schätzung des Bahnverlaufs solcher Ziele und zur Identifizierung zweifelhafter Ziele, beispielsweise jene, die schlechter unter Kalman-Bahnverlauf-Schätzung passen. Schließlich werden zweifelhafte Ziele klassifiziert und die Klassifikation dient zur Unterstützung der Gesichtsermittlung. Beispielsweise ist es möglich festzustellen, ob ein besonderer Zweifel das Ergebnis von zwei oder mehr Personen ist, die eng beieinander stehen.
Bei einer bevorzugten Ausführungsform der Erfindung identifiziert die Gesichtsermittlung ein Bild entsprechend einem Gesicht, auf der Basis von Farbe, Form und Struktur. Elliptische Regionen liegen in einem Bereich wachsenden Algorithmus, angewandt auf eine grobe Auflösung des in Segmente unterteilten Bildes. Ein Farbalgorithmus wird durch eine Gesichtsform bewertende Technik verstärkt. Der Bildbereich wird mit "Gesicht" oder "Nichtgesicht" bezeichnet, nachdem die Bereichsgrenzen mit einer elliptischen Form übereinstimmen (Nachahmung der Kopfform) und zwar mit einem fixen Höhen-zu-Breiten-Verhältnis (gewöhnlich 1,2).
Bei einer weiteren bevorzugten Ausführungsform der Erfindung kann ein Verfahren zur Augenermittlung, das Infrarot (IR)-Licht benutzt, dazu dienen, die Augen eines normalen Menschengesichtes zu lokalisieren und damit die Gesichtsermittlung 46 zu unterstützen. Bei diesem Verfahren wird das Ziel mit Blitzen infraroten Lichts von einem IR-Stroboskop beleuchtet, die vorzugsweise koaxial oder nahezu koaxial zu der optischen Achse der Videokamera 21 entstehen. Die IR-Strahlen vergrößern die Helligkeit der Pupille des menschlichen Auges auf dem Videobild. Indem diese Bereiche vergrößerter Helligkeit lokalisiert worden sind, ist es der Gesichtsermittlung 46 möglich, ein potentielles Gesicht innerhalb des Videobildes schnell zu identifizieren und zu lokalisieren. Wenn das IR-Stroboskop nur während der speziellen identifizierten Videorahmen blitzt, läßt sich eine Rahmensubtraktionstechnik benutzen, um rasch Bereiche erhöhter Helligkeit zu identifizieren, die möglicherweise der Lage der menschlichen Augen entsprechen. Die genaue Identifizierung der Lage der Augen hat den weiteren Vorteil, daß eine derartige Information die Genauigkeit der Gesichtserkennungs-Software stark verbessern kann.
Die Gesichtsfeststellung ist eigentlich eine rechnerisch intensive Aufgabe. Bei den gegenwärtigen Prozessorgeschwindigkeiten ist es unmöglich, eine Ganzgesichtsfeststellung auf jedem von der Videokamera 21 geschickten Videobildrahmen durchzuführen. Daher wird der Gesichtsfeststellungsprozeß nur durch die Kameraeinheitsteuerer-Systemsteuerung 49 aktiviert, wenn er erforderlich ist, d. h. wenn kein Gesicht innerhalb des ankommenden Bildes festgestellt wurde. Sobald ein Gesicht festgestellt worden ist, wird die Gesichtsermittlung ausgeschaltet, und die Gesichtsaufspürung 47 übernimmt. Die Qualität der Gesichtsaufspürung 47 ist durch einen Aufspürvertrauensparameter gekennzeichnet. Sobald der Aufspürvertrauensparameter unter einen gesetzten Grenzwert fällt, gilt das Zielgesicht als verloren und die Gesichtsermittlung wird wieder aufgenommen. Sobald der Aufspürvertrauensparameter ein vorherbestimmtes Bildeinfang-Schwellengesicht aufspürt, werden Bilder von dem Gesichtsbildeinfangmodul 48 angefordert. Sobald eine ausreichende Anzahl qualitativ hochwertiger Gesichtsbilder vorliegt, wird das Ziel fallengelassen und die Gesichtsermittlung für andere Ziele wieder aufgenommen.
Sobald einmal ein Gesicht in dem Videobild festgestellt worden ist, wird die Gesichtsaufspürung 47, die die Gesichtsaufspür-Software aufweist, aktiviert und verarbeitet die von der Videokamera-Datenverarbeitung 43 und der Entfernungsmeßeinheit-Datenverarbeitung 44 einkommenden Daten zum Zwecke der Bestimmung von Geschwindigkeit und Richtung der Bewegung des festgestellten Gesichtes, und zwar sowohl in der senkrechten als auch waagerechten Richtung sowie Tiefenrichtung. Die Gesichtsaufspürung 47 wird mit der ermittelten Zielgesichtposition sowie dem Zielgesichtmaßstab eingeleitet und verwendet einen Interessenbereich (ROI), beschränkt auf die umgebende Begrenzungsbox des festgestellten Zielgesichtes. Jegliche Bewegung wird an die Kameraeinheitsteuerer-Systemsteuerung 49 gemeldet, wo sie dazu dient, die Schwenkbewegung des drehbaren Spiegelsystems 25 und die Zoom-, Fokussierungs- und Neigungsfunktionen der Videokamera 21 zu lenken, so daß das Zielgesicht aufgespürt wird und im Blickfeld gehalten wird. Das Zielgesicht wird so lange aufgespürt, bis das Aufspürvertrauen unter einen festgesetzten Grenzwert sinkt. In diesem Fall gilt das Ziel als verloren und das System schaltet in den Feststellungsmodus zurück. Die Kameraeinheitsteuerer-Systemsteuerung 49 bestimmt, wenn das Gesichtsbildeinfangen 48 wieder aktiviert wird.
Das Gesichtaufspüren 47 benutzt eine Anzahl bekannter Softwarealgorithmus-Strategien, um das Eingangsvideo und die Entfernungsmesserdaten zu bearbeiten, und es werden heuristische Methoden benutzt, um die Ergebnisse zu kombinieren. Die verwendeten heuristischen Methoden weisen eine Reihe Regeln auf, die so aufgebaut sind, daß sie festlegen, welche Softwarealgorithmen in diesen Situationen am zuverlässigsten sind. im folgenden werden einige der Softwarealgorithmen, die auf diesem Gebiet bekannt sind, angegeben, die von dem Anmelder beim Gesichtsaufspüren benutzt worden sind:
Rahmen-zu-Rahmen-Differenzierung zur Feststellung der Bewegung;
Optische Fließtechniken für den Videostrom;
Massenbildfarbe und Formschätzung;
Kalman-Filteranalyse für die gegenwärtige Filterbewegung und Vorhersage zukünftiger Bewegung aus der vergangenen Bewegungsschätzung; und
Künstliche neutrale Netzwerkanalyse auf der Grundlage der Übung des Algorithmus mit einer großen Gruppe Videosequenzen.
Der folgende zusätzliche Schritt wird durch das Gesichtsaufspüren 47 der vorliegenden Erfindung ausgeführt, der von der Entfernungsmessereinheit 30 Meßdaten verwendet und, wie der Anmelder festgestellt hat, die Fähigkeit der Erfindung vergrößert, ein Gesicht aufzuspüren:
Analyse der Entfernungsdaten und Entfernungsdatengeschichte. Wie oben erwähnt, läßt sich ein Geschichtspuffer vorn vorherigen Entfernungsmeßdaten für jedes Ziel verwenden, um festzustellen, ob ein einzelnes großes Objekt eine große Person ist oder zwei Personen, die nahe beieinander stehen oder möglicherweise überhaupt keine Person.
Bei einer bevorzugten Ausführungsform der Erfindung wird ein elliptischer Umriß an die Kontur des ermittelten Gesichtes angepaßt. Jedesmal, wenn ein neues Bild zur Verfügung steht, paßt die Gesichtsaufspürung 47 die Ellipse von dem vorherigen Bild so an, daß sie der Position des Gesichtes in dem neuen Bild am nächsten kommt. Ein Vertrauenswert, der die Modellanpassung widerspiegelt, wird zurückgegeben. Die Gesichtspositionen werden aufeinanderfolgend unter Verwendung eines Kalman-Filters analysiert, um die Bewegungsbahn des Gesichtes innerhalb eines vorbestimmten Fehlerbereiches zu bestimmen. Diese Bewegungsbahn ist ein Kennzeichnungsmerkmal.
Viele der Gesichtsaufspüralgorithmen beruhen teilweise auf Farbe und Farbtextur, um das Aufspüren des Gesichtes zu ermöglichen. Aufgrund von Änderungen sowohl der Hintergrundbelichtung als auch der Vordergrundbelichtung ist die Bildfarbe oftmals instabil und führt zu Aufspürirrtümern und "verlorenen Zielen". Zur Kompensation von Änderungen in den Beleuchtungsbedingungen wird eine statistische Annäherung angewendet, bei der die Farbverteilungen über den gesamten Gesichtsbildbereich über die Zeit geschätzt werden. Auf diese Weise kann, angenommen, die Beleuchtungsbedingungen ändern sich allmählich mit der Zeit, ein farbiges Modell dynamisch angepaßt werden, um die sich ändernde Erscheinung des aufzuspürenden Ziel widerzuspiegeln. Da jedes Bild von der Videokamera 21 kommt, wird von dem Gesichtsbereich ein neuer Satz Pixel probiert und benutzt, um das Farbmodell zu aktualisieren. Während des erfolgreichen Aufspürens wird das Farbmodell automatisch nur dann angepaßt, wenn das Aufspürvertrauen grö ßer ist als ein vorbestimmter Aufspürgrenzwert. Die dynamische Anpassung wird im Falle eines Aufspürversagens ausgesetzt und, sobald das Ziel wieder aufgefunden worden ist, neu gestartet.
Die Gesichtsaufspürung 47 wird durch die Kameraeinheitsteuerer-Systemsteuerung 49 nur dann aktiviert, wenn die Gesichtsermittlung 46 in dem Videobild ein Gesicht festgestellt hat und die Betriebsparameter des Systems nach dem aufzuspürenden Gesicht verlangen. Diese Betriebsparameter hängen von den individuellen Installationserfordernissen ab. Beispielsweise können in gewissen Situationen wenige gute Bilder von jedem Ziel eingefangen werden, das in den Sicherheitsbereich eintritt. In anderen Situationen können gewisse Ziele identifiziert und sorgfältiger aufgespürt werden, um bessere Bildqualitäten zum Zwecke der Gesichtserkennung oder der Archivspeicherung zu erhalten.
Das Gesichtsbildeinfangen 48 weist eine Bildeinfang-Software auf, die die von der Videokamera 21 und der Entfernungsmeßeinheit 30 erhaltenen Daten analysiert, um genau zu bestimmen, wenn ein Gesichtsbild eingefangen werden soll, so daß qualitativ hochwertige, gut belichtete Frontalgesichtsbilder des Ziels erhalten werden. Das Einfangen 48 des Gesichtsbildes verwendet heuristische Methoden, um die Haltung des Gesichts und die beste Beleuchtung zu bestimmen. Die richtige Haltung wird durch Identifizierung von Schlüsselmerkmalen des Gesichts, beispielsweise der Augen, der Nase und des Mundes, bestimmt und stellt sicher, daß sie sich in der richtigen Lage befinden. Die Beleuchtungsqualität wird durch eine Gesamtanalyse der Farbe des Gesichtes bestimmt.
In einer bevorzugten Ausführungsform ist die Videokamera 21 mit einem kombinierbaren Brennpunkt-Meßbelichtungssystem ausgestattet, das Größe und Lage auf dem Videobild einstellen kann. Sobald ein Gesichtsbild lokalisiert worden ist, wird das Brennpunkt-Meßsystem in Bezug auf die Größe des Gesichtsbildes justiert und auf das Gesichtsbild zentriert. Das Ergebnis ist ein eingefangenes Gesichtsbild, das korrekt belichtet ist und sich für die Bildanalyse sowie die Gesichtserkennung und den Gesichtsvergleich besser eignet.
Das Einfangen 48 des Gesichtsbildes wird durch die Kameraeinheitsteuerer-Systemsteuerung 49 aktiviert, wenn ein Gesicht durch den Gesichtsermittler 46 festgestellt worden ist, und die das System betreibenden Parameter fordern dann ein einzufangendes Gesichtsbild an. Die Parameter, die auf das Bildeinfangen einwirken, sind folgende: die Zahl der benötigten Bilder, der erforderliche Qualitätsgrenzwert für diese Bilder und die benötigte Zeit zwischen den Bildern. Die Bildqualität stützt sich auf die Haltung und die Beleuchtung und wird mit einem festgesetzten Grenzwert verglichen. Der zeitliche Abstand bezieht sich auf die Schnelligkeit des Bildeinfangs. Das Einfangen einer Vielzahl von Bildern in einer kurzen Zeitspanne erfordert nicht mehr Informationen als das Einfangen eines Bildes in derselben Zeitspanne. Ein minimaler zeitlicher Abstand wird benötigt, um sicherzustellen, daß genügend unterschiedliche Bilder eingefangen werden, so daß eine gute Haftung erreicht wird. Sobald ein qualitativ hochwertiges Gesichtsbild erhalten wird, wird es an den externen Steuerer 50 gesendet.
Die Eigenschaften des letzten eingefangenen Bildes bestimmen sich zum großen Teil durch die besonderen Gesichtserkennungs-Softwarealgorithmen, die eingesetzt werden. Einer der Hauptvorteile der vorliegenden Erfindung ist die Fähigkeit zum Justieren der Systembetriebsparameter, so daß qualitativ hochwertige, konsistente Gesichtsbilder geschaffen werden, um dadurch eine genaue und dauerhafte Gesichtserkennung zu erreichen. Beispielsweise ist bekannt, daß gewisse Gesichtserkennungssoftware eine frontale Haftung erfordert, eine minimale Pixelauflösung zwischen den Augen und eine besondere Qualität der Belichtung. Die vorliegende Erfindung läßt sich nur auf eingefangene Bilder programmieren, die diese Kriterien erfüllen sowie auf das Aufspüren eines gegebenen Gesichtes, bis derartige Bilder erhalten werden, so daß eine konsistente, qualitativ hochwertige Arbeit des Gesichtserkennungssystems sichergestellt ist.
Der Kameraeinheitsteuerer 40 weist ein Kameraeinheitsteuer-Kommunikationssystem 60 auf, das durch eine Schnittstelle über eine Netzverbindung mit dem Kameraeinheitsteuerer 40 an den externen Steuerer 50 angeschlossen ist, um Konfigurations- und Betriebsinstruktionen zu erhalten oder Videobilder oder Daten, wie von dem externen Steuerer 50 verlangt, zu senden.
Die folgenden Arten der Konfiguration und der Betriebsinstruktionen werden von dem Kamereinheitsteuerer- Kommunikationssystem 60 angenommen:
Konfiguration von Parametern für die Gesichtsermittlung, das Gesichtsaufspüren und das Gesichtsbildeinfangen, so beispielsweise wie lang jedem Ziel zu folgen ist, die Anzahl der einzufangenden Bilder, die erforderliche Qualität und Auflösung der Bilder, der zeitliche Abstand der Bilder und wie viele Ziele zu verfolgen sind;
Eichungsinstruktionen zur Bestimmung der notwendigen Bildkorrektur für Belichtungsbedingungen innerhalb des Sicherheitsbereiches;
Instruktionen zum Aufspüren von Eichungsdaten für die Entfernungsmeßeinheit 30,
Konfigurationsinstruktionen, die die räumliche Position der Kamera 21 und der Entfernungsmeßeinheit 30 betreffen;
Betriebsartinstruktionen zum Ein-/Ausschalten, Schalten in den "Ruhe"-Zustand oder Schalten in verschiedene betriebliche Aufspürmodi. "Ruhe"-Zustände für verschiedene Komponenten können nützlich sein, um die Lebensdauer der Komponenten zu verlängern und Energie zu sparen. Beispielsweise kann die Entfernungsmeßeinheit 30 so gesteuert werden, daß ihre Laserimpulsgeschwindigkeit auf eine Bereichsabtastung pro Sekunde verringert wird, sobald die Aktivität in dem Sicherheitsbereich für eine gewisse Zeitspanne abnimmt. Sobald ein Ziel ermittelt wird, wird die Entfernungsmeßeinheit 30 wieder "aktiviert" und beginnt mit dem normalen Abtasten. Dadurch läßt sich die Lebensdauer der Laderdiode erheblich verlängern.
Es sind unterschiedliche Konfigurationen des Kameraeinheitsteuerer-Kommunikationssystems 60 möglich. Die Kameraeinheiten 20 können selbst untereinander kommunizieren. Die Kameraeinheiten 20 können von anderen Computern als dem externen Steuerer 50 Befehle empfangen und Daten an diese senden. Dazu können unterschiedliche Kommunikationsinfrastrukturen Verwendung finden, so beispielsweise Punkt-zu-Punkt-Netze, serielle Hochgeschwindigkeits-I/O, ferner Ringnetze oder drahtlose Arbeitsnetze oder irgendein anderes geeignetes Kommunikationssystem.
Die Kameraeinheitsteuerer-Systemsteuerung 49 weist eine Software auf, die alle Funktionen in dem Kameraeinheitsteuerer 40 übersieht. Alle Daten, die durch die Videokamera-Datenverarbeitung 43 erlangt werden, ferner durch die Entfernungsmessereinheit-Datenverarbeitung 44 und das Kameraeinheitsteuerer-Kommunikationssystem 60 werden der Kameraeinheitsteuerer-Systemsteuerung 49 zugänglich gemacht, die bestimmt, welche der die Gesichtsermittlung 46, die Gesichtsaufspürung 47 oder die Gesichtsbildeinfangung 48 betreffende Softwaremodule zu aktivieren sind. Diese Entscheidungen stützen sich auf bestimmte Systemanforderungen, so beispielsweise die Zahl der verlangten Bilder, den Bild qualität-Schwellenwert und den Bildzeitabstand. Auch wird die jeweilige Betriebsart in Betracht gezogen. So wird beispielsweise in einer Betriebsart nur das nächstliegende Ziel verfolgt. In einer anderen Betriebsart können die nächstliegenden drei Ziele je drei Sekunden lang verfolgt werden. Die Betriebsarten sind vollständig programmierbar und hängen von der jeweiligen Anwendung ab.
Die Kameraeinheitsteuerer-Systemsteuerung 49 bestimmt außerdem, welche Befehle an die Videokamera 21, das drehbare Spiegelsystem 25 und die Entfernungsmeßeinheit 30 zu senden sind, um deren vielfältige Funktionen zu steuern. Dazu kommt, daß alle besonderen Betriebsarten wie beispielsweise die Beantwortung von Systemfehlern, durch die Kameraeinheitsteuerer-Systemsteuerung 49 koordiniert werden.
Die Kameraeinheitsteuerer-Systemsteuerung 49 kombiniert die Informationen von der Gesichtsfeststellung 46 (die anzeigt, daß der Bildbereich wahrscheinlich ein Gesicht ist) mit der Aufspürinformation, die von der Aufspüreinrichtung 47 (die anzeigt, daß der Bildbereich zu einem Ziel gehört, das sich wie eine Person bewegt) und mit Entfernungsdaten von der Entfernungsdaten-Meßeinheit-Verarbeitung 44 (die anzeigt, daß der Bildbereich die Form einer einzelnen Person hat), um dadurch auszuwählen, welche Pixels im Videobild wahrscheinlich von den Gesichtern besetzt werden. Zu diesem Zweck müssen die Entfernungsdaten in zeitlicher und räumlicher Hinsicht mit den Videodaten eng registriert werden. Die Gesichtsaufspürgenauigkeit wird durch Verwendung einer Wahrscheinlichkeitsanalyse vergrößert, die die vielfachen Messungen der Gesichtsfeststellungsinformation, Gesichtsaufspürinformation und Entfernungsdaten über die Zeit kombiniert.
Die Kameraeinheitsteuerer-Systemsteuerung 49 benutzt eine Kombination von Entfernungs- und Bilddaten, um eine Bewegungs-Geschichten-Datei anzulegen, die die Bahnen der einzelnen Ziele innerhalb des Sicherheitsbereiches 4 speichert. Dies ermöglicht das Aufspüren individueller Gesichtsziele und das Einfangen einer vorbestimmten Anzahl von Gesichtsbildern pro Person.
Externer Steuerer
4 ist ein Blockdiagramm, das die Netzarchitektur der vorliegenden Erfindung zeigt. Multiple Kameraeinheiten 20 sind, wie dargestellt, mit dem externen Steuerer 50 verbunden. Außerdem werden Datenbank/Suchanwendungen 70 und ex terne Anwendungen 80 gezeigt, die über eine Netzschnittstelle in Verbindung stehen. 4 zeigt des weiteren den Kommunikations- und Datenstrom zwischen den verschiedenen Komponenten der Erfindung. Es versteht sich, daß die Erfindung nicht erfordert, daß zwischen allen Komponenten eine einzelne Netzverbindung besteht. Tatsächlich verlangen viele Sicherheitsanwendungen die Benutzung getrennter Netze für jeden Anwendungsfall. Die Verwendung von multiplen Kameraeinheiten 20 ermöglicht zwischen den Kameraeinheiten eine Kooperation, um dadurch Aufgaben wie beispielsweise das Verfolgen eines Ziels von dem einen Sicherheitsbereich in den anderen oder die Überdeckung eines großen Sicherheitsbereiches mit vielen potentiellen Zielen zu lösen.
Externe Steuerer 50 weisen einen Computer mit einer Netzverbindungsmöglichkeit an eine Schnittstelle mit Kameraeinheiten 20, Datenbank/Suchanwendungen 70 und externen Anwendungen 80 auf, die eine Suche nach gespeicherten Gesichtsbildern ermöglichen, sowie zusätzliche Quellen von Dateneingängen für das System. So kann beispielsweise eine externe Ausweis-Kontrollanwendung zu Bildern der Datenseitenfotografie für den externen Steuerer 50 führen, die sich mit Bildern kombinieren und vergleichen lassen, die von Kameraeinheiten aufgenommen worden sind, um eine automatische Gesichtserkennung durchzuführen und damit zu verifizieren, daß das Gesichtsbild auf dem Ausweis dem Gesichtsbild der den Ausweis vorlegenden Person entspricht.
Der externe Steuerer 50 weist eine Software auf, die mit einem modernen Netzwerk für ein Vielfach-Aufgaben-Betriebssystem versehen ist, das in der Lage ist, den Betrieb vieler unabhängiger, miteinander kommunizierender Softwarekomponenten zu steuern, zu denen gehören: Kameraeinheit-Schnittstelle 51; externe Systemsteuerung 52; Suchschnittstelle 53; Kamerakonfigurations-Anwendungsschnittstelle 54; und externe Anwendungsschnittstelle 55. Alle Netzkommunikationen sind durch Verwendung einer fortschrittlichen, modernen Netzverschlüsselung und Authentitätstechnologien gesichert, um zwischen den Komponenten sichere und verläßliche Kommunikationen zu ermöglichen.
Die Kameraeinheit-Schnittstelle 51 weist eine Software auf, die die Kommunikationen mit den Kameraeinheitsteuerern 40 steuert. Befehle werden von der externen Systemsteuerung 52 empfangen und an die Kameraeinheiten 20 geschickt. Die Kameraeinheit-Schnittstelle 51 stellt eine verläßliche Auslieferung und angemessene zeitliche Abstimmung aller derartigen Kommunikationen sicher. Ge sichtsbilder, die von den Kameraeinheiten 20 angekommen, werden gespeichert und sequenziert, um durch andere Softwaremodule in dem externen Steuerer 50 weiter bearbeitet zu werden.
Die externe Systemsteuerung 52 weist eine Software auf, die alle Funktionen des externen Steuerers 50 übersieht. Alle Daten, die durch die Kameraeinheit-Schnittstelle 51, die Suchschnittstelle 53, die Kamerakonfigurations-Anwendungsschnittstelle 54 und die externe Anwendungsschnittstelle 55 erworben werden, werden der externen Systemsteuerung 52 zur Verfügung gestellt. Alle Aktivitäten, die eine Koordination der Kameraeinheiten 20 erfordern, werden durch die externe Systemsteuerung 52 gesteuert. Dazu kommt, daß besondere Betriebsarten, wie beispielsweise Beantwortung von Systemfehlern, durch die externe Systemsteuerung 52 koordiniert werden. Die Suchschnittstelle 53 weist eine Software auf, die eine Schnittstelle zwischen dem externen Steuerer 50 und der Datenbank/Suchanwendung 70 schafft, wie unten beschrieben wird, um dadurch eine verläßliche Abgabe und angemessene zeitliche Abstimmung aller Kommunikationen zwischen ihnen sicherzustellen.
Die Kamerakonfiguration-Anwendungsschnittstelle 54 weist eine Software auf, die Eingangsdaten von einer Kamerakonfigurations-Anwendung aufnimmt. Eine Kamerakonfigurations-Anwendung kann bei dem externen Steuerer 50 oder einem anderen Computer liegen, der extern angeordnet und über ein Netz verbunden ist. Die Kamerakonfigurationsdaten dienen zur Verschickung von Befehlen an Kameraeinheiten 20, um die verschiedenen Betriebs- und Konfigurationsfunktionen zu steuern, beispielsweise die Belichtung, die Farbart, das Videosystem, usw. und damit die Kameraeinheiten 20 anzuweisen, Eichdaten zu nehmen oder in einen Betriebsmodus zu schalten und damit zu beginnen, ein spezifisches Ziel zu verfolgen.
Die externe Anwendungsschnittstelle 55 weist eine Software auf, die zwischen dem externen Steuerer 50 und externen Anwendungen 80 eine Schnittstelle liefert, wie im folgenden beschrieben, um eine verläßliche Ausgabe und eine angemessene zeitliche Abstimmung der zwischen diesen stattfindenden Kommunikationen zu sichern.
Datenbank/Suchanwendungen
Datenbank/Suchanwendungen 70 ist ein allgemeiner Ausdruck, der benutzt wird, um alle unterschiedlichen Suchfunktionen zu beschreiben, die bei der vorliegenden Erfindung miteinander arbeiten können. Diese Anwendungen empfangen Daten von dem externen Steuerer 50 und möglicherweise von anderen Datenquellen, beispielsweise Ausweis-Kontrollanwendungen, um Recherchen durchzuführen und eine Kandidatenliste möglicher Übereinstimmungen der Eingabedaten rückzuführen.
Beispiele von Datenbank-Suchanwendungen enthalten folgendes, sind jedoch nicht darauf beschränkt:
Gesichtsverifikation: ein eingefangenes Gesichtsbild, das von einer Kameraeinheit 20 empfangen wird, wird mit einem Gesichtsbild verglichen, das von einem vorhandenen Identifikationsdokument genommen wird, beispielsweise einem Ausweis oder einem anderen Bildidentifikationsdokument. Gesichtserkennungs- und Vergleichs-Software dient zur Bestimmung, ob oder ob nicht eine Übereinstimmung vorliegt, und die Ergebnisse werden für einen Bericht zurückgesandt.
Gesichtsidentifikation: die von den Kameraeinheiten 20 erhaltenen Gesichtsbilder werden mit einer Alarm- oder "Aussuch"-Liste verglichen, die unerwünschte Objekte enthält. Eine Kandidatenliste von null oder mehr möglichen Übereinstimmungen wird für einen Bericht zurückgegeben.
Datenbanksuche: Identifikationsdaten von einem Identifikationsdokument, beispielsweise Name, Identifikationsnummer, Geschlecht, After und Nationalität werden mit einer Alarmliste verglichen. Eine Kandidatenliste von null oder mehr möglichen Übereinstimmungen mit der Alarmliste wird für einen Bericht zurückgegeben.
Externe Anwendungen
Externe Anwendungen 80 ist ein allgemeiner Ausdruck, der benutzt wird, um andere mögliche Sicherheitsidentifikationssysteme zu beschreiben, die dieselben Ziele oder Sicherheitsbereiche wie bei der hier beschriebenen Erfindung überwachen. Daten von externen Anwendungen 80 können dem vorliegenden System eingegeben werden, um die Funktionstüchtigkeit zu verbessern. Es versteht sich, daß die Details der Zusammenwirkung zwischen der vorliegenden Erfindung und den externen Anwendungen 80 von der spezifischen Natur der externen Anwendungen abhängen.
Ein Beispiel für eine externe Anwendung ist ein Ausweis-Kontrollsystem. Reisende präsentieren Identifikationsdokumente, die Identifikationsdaten und Gesichtsbilder enthalten, den Ausweis-Kontrollbeamten. Die Identifikationsdaten und Gesichtsbilder von den Identifikationsdokumenten werden durch den externen Steuerer 50 eingegeben, um eine verstärkte Funktionalität zu erzeugen, insbesondere bei Datenbank-Suchanwendungen. So kann beispielsweise ein Bild des Reisenden, das von den Identifikationsdokumenten genommen wird, mit Bildern des Reisenden verglichen werden, die von der Kameraeinheit 20 eingefangen werden, um eine Übereinstimmung sicherzustellen (Verifikation). Bei einem anderen Beispiel können Identifikationsdaten von dem Identifikationsdokument, beispielsweise Geschlecht, Alter und Nationalität, dazu dienen, die Kandidatenliste der Gesichtsbilder, die von einer Gesichtserkennungs-Recherche des von einer Kameraeinheit 20 aufgenommenen Gesichtsbildes zurückkommt, anhand einer Gefahr-Datenbank zu filtern.
Dazu kommt, daß der externe Steuerer 50 Informationen liefern kann, die von den Kameraeinheiten 20 für externe Anwendungen 80 gesammelt werden, um dadurch eine verstärkte Funktionalität bei diesen Anwendungen zu ermöglichen. So können beispielsweise Gesichtsbilder, die von den Kameraeinheiten 20 eingefangen werden, an einen Paßkontrolleinsatz geschickt werden, um einem Paßkontrollbeamten einen Seite-an-Seite-Vergleich mit dem Gesichtsbild zu ermöglichen, das von dem Identifikationsdokument des Reisenden stammt. In einem anderen Beispiel können Gesichtsbilder von Kameraeinheiten 20 dazu dienen, Datensuchanwendungen zu ermöglichen, um mit der Bearbeitung zu beginnen, bevor die Identifikationsdokumente einem Paßkontrollbeamten vorgelegt werden.
Einstellung und Eichung
In 2 ist ein typischer Aufbau dargestellt, bei dem eine Entfernungsmessereinheit 30 zur horizontalen Abtastung eines Sicherheitsbereiches 4 eingesetzt wird, und zwar in annähernd Brusthöhe der Durchschnittsperson. Die Videokamera 21 und das drehbare Spiegelsystem 25 sind annähernd in Augenhöhe für die Durchschnittsperson so angeordnet, daß das Blickfeld der Videokamera 21 den Sicher heitsbereich 4 abdeckt. Die genauen Positionen von Entfernungsmessereinheit 30, Videokamera 21 und drehbarem Spiegelsystem 25 werden exakt gemessen, und ihre Positionen innerhalb des Sicherheitsbereiches 4 werden in den Kameraeinheitsteuerer 40 als Eichdaten eingegeben. Normalerweise können, wie in 4 gezeigt, viele Kameraeinheiten 20 Verwendung finden, um einen großen Sicherheitsbereich abzudecken, oder es lassen sich eine Vielzahl diesbezüglicher Bereiche überwachen. In Abhängigkeit von der Art der Installation und den Anwendungserfordernissen können im Hinblick auf die Betriebsweise und die Kommunikationsprotokolle zwischen den verschiedenen Systemkomponenten Einstellungen erforderlich werden.
Die Entfernungsmessereinheit 30 wird dadurch geeicht, daß Entfernungsdaten von dem Sicherheitsbereich 4 erhalten und gespeichert werden, der keine vorübergehenden Ziele enthält. Danach werden die Entfernungsdaten, die während des Betriebs erhalten werden, mit den Eichdaten verglichen, um statische Objekte von vorübergehenden Zielen von Interesse zu unterscheiden. Die Videokamera 21 erzeugt Probebilder bekannter Ziele unter existierenden Arbeitslichtbedingungen. Diese Bilder ermöglichen die Kalibrierung der Gesichtsfeststellung 46 und des Gesichtseinfangs 47.
Betrieb
Im Betrieb tastet die Entfernungsmessereinheit 30 kontinuierlich den übenrwachten Sicherheitsbereich 4 ab, um das Vorhandensein von Zielen festzustellen. Meßdaten, die die Winkellage, Entfernung und Breite irgendwelcher potentieller Ziele betreffen, werden an den Kameraeinheitsteuerer 40 übermittelt. Der Kameraeinheitsteuerer 40 verarbeitet die Meßdaten und den Ort der Ziele, die wahrscheinlich Personen sind, und zwar auf der Basis der Lage der Ziele (das naheliegendste zuerst), der Größe (Personengröße) und der Bewegungsgeschichte. Sobald ein Ziel zwecks näherer Inspektion identifiziert worden ist, werden von der Kamerasteuereinheit 40 an die Videokamera 21 und das Spiegelsystem 25 Befehle gesendet, die diese veranlassen, die Schwenk- und Zoomfunktionen auszuführen, so daß ein detaillierteres Bild von dem Ziel erhalten wird. Diese Befehle bewirken, daß sich der Spiegel 26 so dreht, daß das Ziel in das Blickfeld der Videokamera 21 gelangt, und das Zoom der Videokamera 21 wird gemäß der gemessenen Entfernung so aktiviert, daß das menschliche Durchschnittsgesicht 20 % des Sichtfeldes ausfüllt. Die Gesichtsermittlung 46 tritt in Tätigkeit und verwendet die von der Videokamera in Verbindung mit den Entfernungsmeßdaten erhaltenen Daten, um die Gesichtsermittlungsalgorithmen auszuführen und damit festzustellen, wenn das von der Videokamera 21 kommende Bild ein menschliches Gesicht enthält. Falls ein menschliches Gesicht festgestellt wird, werden die Gesichtsmerkmale entnommen und die räumlichen Koordinaten des Gesichtsmittelpunktes werden berechnet. Diese Ortsinformation wird an die Kameraeinheitsteuerer-Systemsteuerung 49 zurückgeleitet, die es ihr ermöglicht, verfeinerte Schwenk(Spiegeldrehung), Neigungs- und Zoombefehle an die Videokamera 21 und das Spiegelsystem 25 zu senden, um dadurch zu bewirken, daß das ermittelte Gesicht das Videobild vollständig ausfüllt.
Normalerweise leitet an dieser Stelle der Kameraeinheitsteuerer 40 einen Gesichtsaufspürvorgang ein, um der Interesse erregenden Person zu folgen, indem die Entfernungs- und Videodaten verwendet werden, um die richtigen Verschwenkungs-, Zoom- und Neigungsbefehle zu berechnen, die ergehen müssen, um die Videokamera 21 genau auf das Zielgesicht gerichtet zu halten und die gewünschte Gesichtsbildgröße beizubehalten. Während das Ziel aufgespürt wird, dienen heuristische Methoden zur Bestimmung passender Momente zum Einfangen qualitativ hochwertiger Frontalhaltungsbilder des Zielgesichtes. Außerdem werden festgesetzte Bildqualitätgrenzwerte berücksichtigt, ferner die Anzahl der erforderlichen Bilder und die Zeitabstände zwischen den Bildern. Sobald die Bilder erhalten worden sind, werden sie an den externen Steuerer 50 über eine Netzverbindung gesendet. An dieser Stelle folgt der Kameraeinheitsteuerer 40 entweder dem Ziel weiter oder wendet seine Aufmerksamkeit auf das Aufspüren eines anderen interessanten Ziels, das in den Sicherheitsbereich 4 eingetreten sein kann, und zwar bestimmt durch die spezielle Arbeitsflußlogik des Anwenders.
Der externe Steuerer 50 empfängt von jeder Kameraeinheit 20 die eingefangenen Videogesichtsbilder und Zielbewegungsinformationen. Auch empfängt er Informationen von externen Anwendungen 80, beispielsweise der Ausweis-Kontrollsoftware, die dieselben Zielpersonen überwachen kann. Wie bereits oben kurz erwähnt, ist ein Beispiel für eine externe Information ein Fotobild, das von einem Identifikationsdokument, das von der Zielperson präsentiert wird, gemacht wurde. Der externe Steuerer 50 ist durch Schnittstellen mit der Gesichtserkennung anderer Datenbank-Suchsoftware über Schnittstellen verbunden, um Zielpersonen zu verifizieren und zu identifizieren.
Dazu kommt, daß der externe Steuerer 50 den Betrieb zwischen mehreren Kameraeinheiten 20 so koordinieren kann, daß die folgenden Funktionen möglich werden:

1) Einfangen einer einzelnen Person, die von Interesse ist, sobald sie von einem Überwachungsbereich zum anderen läuft;
2) Koordinieren mehrerer Kameraeinheiten 20, die einen einzigen Raum überwachen. In dieser Situation werden Ziele, die von Interesse sind, identifiziert und den verschiedenen Kameraeinheiten 20 wird ermöglicht, Gesichter einzufangen und Gesichtsbilder aufzuspüren.

Andere Anwendungen
Zusätzlich zu den oben beschriebenen Anwendungen sind andere Anwendungen der vorliegenden Erfindung möglich, jedoch nicht auf die folgenden Anwendungen beschränkt:

1. Einfangen des Gesichtsbildes einer Person, die ein Identifikationsdokument, beispielsweise einen Paß oder ein Visa erhält, und Speicherung des Bildes in einer Datenbank zum Zweck der Verwendung zu einem späteren Zeitpunkt, wenn die maschinengestützte Identitätsbestätigung benötigt wird, um die Identität der Person, die das Identitätsdokument präsentiert, zu verifizieren.
2. Durchführen einer "Vorsicht"-Überprüfung einer beliebigen Person, die ein offizielles Identitätsdokument beantragt, durch Herstellen von Gesichtsbildern der Person und Übermittlung dieser Bilder an eine Datenbank-Suchanwendung für Gesichtserkennung, Identifizierung und Vergleich mit einer Datenbank für unerwünschte Individuen.
3. Einfangen von Gesichtsbildern der Person, die ein Identitätsdokument an sich nimmt und Vergleich mit dem Gesichtsbild der Person auf dem Identitätsdokument, um zu verifizieren, daß das Dokument an den berechtigen Inhaber ausgegeben wird.
4. Einfangen und Speichern des Gesichtsbildes einer Person in einer Datenbank, wenn diese Person die Genehmigung zur Reise oder zum Eintritt in ein Land erhält. Das Einfangen derartiger Gesichtsbilder kann, muß aber nicht auf der Grundlage eines Risikoprofils erfolgen. Die Datenbank dient dann zum Vergleich mit Gesichtsbildern, die von festgehaltenen, nicht kooperativen Personen oder nicht autorisierten Personen aufgenommen worden sind, welche gewisse Sicherheitsbereiche betreten, um festzustellen, ob die Person vorher gesehen worden ist und, wenn dies der Fall sein sollte, welche Identitätsdokumente zu jener Zeit vorgelegt worden sind.
5. Einfangen und Speichern von Gesichtsbildern von Personen in einer Datenbank, die für eine Flugreise einchecken, um eine Passagier-Vorausinformations-Datenbank ("API") zu schaffen. Die API-Aufzeichnungen werden den Behörden am Ankunftsziel übermittelt, wo sie dazu dienen, Vorausüberprüfungen durchzuführen, bevor der Flug ankommt, um dadurch alle Personen zu identifizieren, die Gegenstand einer detaillierten Überprüfung nach der Ankunft sein sollten.
6. Verwendung von API-Daten, die in dem obigen Beispiel gesammelt wurden, um die automatisierte Inspektion von Passagieren am Ankunftszielort zu unterstützen. Gesichtsbilder von ankommenden Passagieren werden aufgenommen und mit den API-Daten verglichen, um sicherzustellen, daß diese ankommenden Personen dieselben Personen sind, die an Board des Flugzeuges gegangen sind. Dies ermöglicht ein rasches Aussteigverfahren aus dem Flugzeug, wobei die Passagiere buchstäblich durch einen Sicherheitsbereich gehen können und jene, die einer genaueren Betrachtung unterzogen werden müssen, lassen sich leicht identifizieren und aussondern.
7. Die Aufnahme von Gesichtsbildern von Personen, die irgendein öffentliches Transportmittel, beispielsweise Flugzeuge, Züge oder Busse besteigen oder die versuchen, irgendeinen Sicherheitsbereich einschließlich von Eintrittshäfen in die Länder oder Sportstadien zu betreten, und Übermittlung dieser Bilder an eine Datenbank-Suchanwendung für Gesichtserkennung, Identifikation und Vergleich mit einer Datenbank, die unerwünschte Personen enthält, um dadurch zu verhindern, daß solche unerwünschten Personen öffentliche Transportmittel benutzen oder den Sicherheitsbereich betreten.
8. Einfangen von Gesichtsbildern von Personen, die auf öffentliche Transportmittel einchecken und Vergleichen dieser Bilder mit einem Gesichtsbild, das in einem während des Eincheckens vorgelegten Identitätsdokument enthalten ist, um zu verifizieren, daß die richtige Person das Identitätsdokument vorlegt.
9. Einfangen von Gesichtsbildern von Personen beim Annähern an einen Hafen eines Landes mit Eintrittsinspektionsbereich und Versenden dieser Bilder an eine Datenbank-Suchanwendung zur Gesichtsidentifizierung und zum Vergleich mit einer Datenbank, die unerwünschte Personen speichert, um dadurch die Inspektionsbehörde bei der Bestimmung zu unterstützen, ob der ankommenden Person der Eintritt erlaubt werden darf.
10. Einfangen von Gesichtsbildern von Personen, die an Selbstbedienungs-Inspektionsmaschinen beim Ankommen im Eintrittshafen eines Landes behandelt werden und Versenden dieser Bilder an eine Datenbank-Suchanwendung zur Gesichtsidentifizierung und zum Vergleich mit einer Datenbank, die unerwünschte Personen speichert, um dadurch den Eintritt solcher Personen in das Land zu verhindern.
11. Einfangen von Gesichtsbildern aller an allen Ankunftsgates ankommenden Passagiere und Speicherung dieser Bilder in einer Ankunftsdatenbank zusammen mit Details des ankommenden Flugs. Verwendung der Datenbank ankommender Passagiere für einen Vergleich mit Gesichtsbildern, die von Personen genommen worden sind, die an Inspektionsschaltern ohne ordentliche Identifikation erscheinen und die es ablehnen, Flugankunftsdetails mitzuteilen. Dies ermöglicht den Grenzkontrollbeamten, die Fluggesellschaft und den Ursprung der Person zu identifizieren, so daß die Fluggesellschaft gefunden und gezwungen werden kann, die festgehaltene Person zum Ausgangspunkt des Fluges zurückzubringen.
12. Durchführung einer "Sicherheits-Überprüfung" für jede Person, die in einen Sicherheitsbereich eintritt, durch Einfangen von Gesichtsbildern der Person und Übermittlung dieser Bilder an eine Datenbank-Suchanwendung zwecks Gesichtsidentifizierung und Vergleichens mit einer Datenbank für unerwünschte Personen sowie Sicherheitsalarm-Auslösung.
13. Verbesserung der Fluglinien-Eincheck-Verfahren durch Einfangen von Gesichtsbildern von Passagieren, sobald sie sich verschiedenen Sicherheitsbe reichen nähern und Vergleichen dieser Bilder mit Gesichtsbildern von gebuchten Passagieren. So läßt sich beispielsweise das Gesichtsbild des Reisenden beim anfänglichen Buchen oder Einchecken erhalten und zur Verifizierung der Identität der Person benutzen, die andere Sicherheitsbereiche innerhalb des Flughafens betritt und möglicherweise an Board des Flugzeugs geht. Dadurch kann die Geschwindigkeit des Eincheckens und an-Board-Gehens sehr vergrößert werden.
14. Gesichtsbilder von Personen, die an Board eines Flugzeugs gehen, können mit Gesichtsbildern von Personen beim Einchecken verglichen werden, um zu verifizieren, daß die Person, die eingecheckt hat, dieselbe Person ist, die das Flugzeug besteigt und mit jener Person übereinstimmt, deren Gepäck in das Flugzeug geladen wird.
15. Gesichtsbilder, die kontinuierlich durch viele Kameraeinheiten 20, die in vielen Sicherheitsbereichen überall an einem gegebenen Ort angeordnet sind, beispielsweise einem Flughafen, lassen sich zur Lokalisierung irgendeiner Person zu irgendeiner Zeit verwenden. Auf diese Weise kann ein Passagier, der einen Flug verpaßt, lokalisiert und in den richtigen Einsteigbereich gelenkt werden. Flugverzögerungen, die notwendig sind, um einen eigensinnigen Passagier zu lokalisieren, lassen sich reduzieren. Derartige Überwachungssysteme können auch in einem Gefängnis zur Lokalisierung von Gefangenen wertvoll sein.
16. In Situationen, die finanzielle Transaktionen, beispielsweise an Geldautomaten (ATM) betreffen, können eingefangene Gesichtsbilder zum Vergleich mit Daten von ATM-Karten dienen, um zu verifizieren, daß die richtige Person die Karte benutzt.
17. Eingefangene Gesichtsbilder aller Personen, die einen Sicherheitsbereich betreten, können mit einer Datenbank/Suchanwendung verglichen werden, um sicherzustellen, daß die Person sich auf einer vorab geprüften Liste von Personen befindet, welchen der Eintritt gestattet ist.

Im obigen wurde eine detaillierte Beschreibung der besonders bevorzugten Ausführungsformen der Erfindung gegeben. Die auf diesem Gebiet tätigen Fachleute werden erkennen, daß im Lichte der gegebenen Offenbarung offensichtliche Ab änderungen der hier beschriebenen Ausführungsformen durchgeführt werden können, ohne vom Erfindungsgedanken und vom Schutzumfang der Erfindung abzuweichen. Alle hier beschriebenen und beanspruchten Ausführungsbeispiele können aufgrund der vorhandenen Offenbarung der Erfindung ohne unangemessene experimentelle Arbeit angewendet und ausgeführt werden. Der Schutzumfang der Erfindung ergibt sich aus den folgenden Ansprüchen und ihren Äquivalenten. Allerdings dienen die Ansprüche und die Beschreibung nicht dazu, den Schutzumfang der vorliegenden Erfindung unangemessen einzuengen.

Claims

Gesichtsbilderzeugungssystem zur Aufzeichnung und/oder automatisierten Bestätigung der Identität eines Zielobjektes innerhalb eines Sicherheitsbereiches, wobei das Gesichtsbilderzeugungssystem enthält: eine Kameraeinheit mit: einer Kameraeinheit-Steuereinrichtung; eine Bereichsmesseinrichtung zum Feststellen der Anwesenheit des Zielobjektes in dem Sicherheitsbereich und zum Liefern von Entfernungsdaten bezüglich des Zielobjektes an die genannte Kameraeinheit-Steuereinrichtung; und einer Videokamera zum Einfangen von Bildern des Zielobjektes und Senden der genannten Zielobjektbilder an die genannte Kameraeinheit-Steuereinrichtung; wobei die Kameraeinheit-Steuereinrichtung aufweist: ein Gesichtsfeststellungsystem, welches konfiguriert ist, um ein Gesichtsbild innerhalb der genannten Zielobjektbilder festzustellen; ein Bildeinfangsystem, welches konfiguriert ist, um das genannte Gesichtsbild einzufangen, wenn das genannte Gesichtsbild dahingehend festgestellt wird, dass es eine genügende Qualität für eine Gesichtserkennung hat.
Gesichtsbilderzeugungssystem nach Anspruch 1, bei welchem die genannte Kameraeinheit-Steuereinrichtung ein Gesichtsaufspürsystem einschließt, welches konfiguriert ist, um das genannte Gesichtsbild aufzuspüren.
Gesichtsbilderzeugungssystem nach Anspruch 2, bei welchem die genannte Kameraeinheit-Steuereinrichtung eine Videaokamera-Datenverarbeitungssoftware einschließt, welche konfiguriert ist, um die genannten Zielobjektbilder zu verarbeiten und Videobilddaten zu liefern, und bei welchem das genannte Gesichtsfeststellungssystem und das genannte Gesichtsaufspürsystem konfiguriert sind, um die genannten Videobilddaten zu verwenden, um bei der genannten Feststellung und dem genannten Aufspüren des genannten Gesichtsbildes zu helfen.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 3, bei welchem die Kameraeinheit ein rotierbares Spiegelsystem zum Reflektieren der genannten Zielobjektbilder und der genannten Gesichtsbilder zu der genannten Videokamera einschließt.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 4, bei welchem das genannte Gesichtsfeststellungssystem konfiguriert ist, um die genannten Bereichsmessdaten zu benutzen, um bei dem Feststellen der genannten Gesichtsbilder zu helfen, wobei die Bereichsmessdaten eine Abstandslage und eine Winkellage aufweisen.
Gesichtsbilderzeugungssystem nach Anspruch 5, bei welchem die genannten Bereichsmessdaten eine Breite des genannten Zielobjekts einschließen.
Gesichtsbilderzeugungssystem nach Anspruch 2, bei weichem das genannte Gesichtsaufspürsystem konfiguriert ist, um die genannten Bereichs messdaten zu benutzen, um bei dem Aufspüren der genannten Gesichtsbilder zu helfen, wobei die Bereichsmessdaten eine Abstandslage und eine Winkellage aufweisen.
Gesichtsbilderzeugungssystem nach Anspruch 7, bei welchem die genannten Bereichsmessdaten eine Breite des genannten Zielobjekts einschließen.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 8, mit einem Kameraeinheit-Übermittlungssystem zum Senden der genannten eingefangenen Gesichtsbilder an eine externen Steuereinrichtung zu Zwecken einer Gesichtsüberprüfung und/oder Gesichtserkennung.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 9, bei welchem das genannte Gesichtsfeststellungssystem konfiguriert ist, um Farbe, Gestalt und Lage von strukturellen Charakteristiken in den genannten Zielobjektbildern zu benutzen, um das genannte Gesichtsbild zu identifizieren.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 10, bei welchem das genannte Gesichtsfeststellungssystem individuelle Gesichtsmerkmalsfeststellung einschließt, um Gesichtsmerkmale innerhalb der genannten Zielobjektbilder zu lokalisieren und zu bestätigen.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 11, bei welchem das genannte Gesichtsfeststellungssystem ein Augenfeststellungssystem einschließt, welches Infrarotbeleuchtung des genannten Zielobjektes benutzt, um die Position der Augen innerhalb der genannten Zielobjektbilder zu lokalisieren.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 12, bei welchem das genannten Gesichtfeststellungssystem konfiguriert ist, um abzudrehen, wenn das genannte Gesichtsbild innerhalb der genannten Zielobjektbilder festgestellt ist.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 13, bei welchem das genannte Gesichtseinfangsystem ein Haltungsbeurteilungssystem einschließt, welches konfiguriert ist, um eine Haltung des genannten Gesichtsbildes zu dem Zweck zu beurteilen, um festzulegen, ob das genannte Gesichtsbild von der genannten hinreichenden Qualität für eine Gesichtserkennung ist.
Gesichtsbilderzeugungssystem nach Anspruch 14, bei welchem das genannte Haltungsbeurteilungssystem in der Lage ist, festzulegen, ob die genannte Haltung des genannten Gesichtsbildes eine Frontalhaltung ist.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 15, bei welchem das genannte Gesichtseinfangsystem ein Beleuchtungsbeurteilungssystem einschließt, welches konfiguriert ist, um ein Beleuchten des genannten Gesichtsbildes zu dem Zweck zu beurteilen, um festzulegen, ob das genannte Gesichtsbild von der genannten hinreichenden Qualität für eine Gesichtserkennung ist.
Gesichtsbilderzeugungssystem nach Anspruch 14, bei welchem das genannte Haltungsbeurteilungssystem ein Gesichtsmerkmalidentifikationssystem und ein Gesichtsmerkmallokalisiersystem einschließt.
Gesichtsbilderzeugungssystem nach Anspruch 16, bei welchem das genannte Beleuchtungsbeurteilungssystem ein Farbanalysesystem einschließt.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 18, bei welchem das genannte Gesichtseinfangsystem ein Belichtungssystem aufweist, welches konfiguriert ist, um eine Belichtung des genannten Gesichtsbildes zum Steuern des genannten Gesichtseinfangsystems zu messen, um festzulegen, ob das genannte Gesichtsbild von der genannten hinreichenden Qualität für eine Gesichtserkennung ist, wobei das Belichtungssystem auf einem Bereich basiert, wobei der genannte Bereich in Größe und Lage auf dem genannten Gesichtsbild einstellbar ist.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 1 bis 19, bei welchem das genannte Gesichtsfeststellungssystem eine individuelle Gesichtsmerkmalsfeststellung einschließt, welche konfiguriert ist, um die Position der Augen innerhalb der genannten Zielobjektbilder zu lokalisieren, und bei welchem das genannte Gesichtseinfangsystem ein Pixelauflösungsbeurteilungssystem zum Festlegen einer minimalen Pixelauflösung des genannten Gesichtsbildes zwischen den genannten Augen festzulegen, um festzulegen, ob das genannte Gesichtsbild von der genannten ausreichenden Qualität für eine Gesichtserkennung ist.
Gesichtsbilderzeugungssystem nach Anspruch 1, bei welchem die genannten Bereichsmessdaten benutzt werden, um dem genannten Gesichtsfeststellungssystem bei der Feststellung des genannten Gesichtsbildes zu helfen.
Gesichtsbilderzeugungssystem nach Anspruch 1, bei welchem die genannten Bereichsmessdaten benutzt werden, um dem genannten Gesichtseinfangsystem bei dem Einfangen des genannten Gesichtsbildes zu helfen.
Gesichtsbilderzeugungssystem nach Anspruch 2, bei welchem die genannten Bereichsmessdaten benutzt werden, um dem genannten Gesichtsaufspürsystem beim Aufspüren des genannten Gesichtbildes zu helfen.
Gesichtsbilderzeugungssystem nach Anspruch 1, bei welchem die genannte Kameraeinheit-Steuereinrichtung Videokamera-Datenverarbeitungssoftware einschließt, welche konfiguriert ist, um die genannten Zielobjektbilder zu verarbeiten und verarbeitete Videobilddaten zu liefern, und bei welchem das genannte Gesichtsfeststellungssystem konfiguriert ist, die genannten verarbeiteten Videobilddaten zu benutzen, um bei der genannten Feststellung des genannten Gesichtsbildes zu helfen.
Gesichtsbilderzeugungssystem nach Anspruch 1, bei welchem die genannte Kameraeinheit-Steuereinrichtung Videokamera-Datenverarbeitungssoftware einschließt, welche konfiguriert ist, um die genannten Zielobjektbilder zu verarbeiten und verarbeitete Videobilddaten zu liefern, und bei welchem das genannte Gesichtseinfangsystem konfiguriert ist, um die genannten verarbeiteten Videobilddaten zu benutzen, um bei dem genannten Einfang des genannten Gesichtsbildes zu helfen.
Gesichtsbilderzeugungssystem nach Anspruch 2, bei welchem die genannte Kameraeinheit-Steuereinrichtung Videokamera-Datenverarbeitungssoftware einschließt, welche konfiguriert ist, um die genannten Zielobjektbilder zu verarbeiten und verarbeitete Videobilddaten zu liefern, und bei welchem das genannte Gesichtsaufspürsystem konfiguriert ist, um die genannten verarbeiteten Videobilddaten zu benutzen, um bei dem genannten Aufspüren des genannten Gesichtsbildes zu helfen.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 24, 25 oder 26, bei welchem die genannten verarbeiteten Videobilddaten in einer Bewegungsablaufdatei organisiert und gespeichert werden.
Gesichtsbilderzeugungssystem nach Anspruch 1, bei welchem die Kameraeinheit automatisierte Horizontalschwenk-, Zoom- und Vertikalneigungs-Merkmale einschließt.
Gesichtsbilderzeugungssystem nach Anspruch 28, bei welchem das genannte Horizontalschwenkmerkmal von einem ersten Spiegelsystem geliefert wird, welches in einer horizontalen Richtung rotierbar ist, um die genannten Zielobjektbilder in die genannte Videokamera zu reflektieren.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 28 oder 29, bei welchem die genannte Kameraeinheit-Steuereinrichtung konfiguriert ist, um die genannten Bereichsmessdaten zu benutzen, um bei dem automatisierten Steuern der genannten Horizontalschwenk-, Zoom- und Vertikalneigungs-Merkmale zu helfen.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 28 bis 30, bei welchem das genannte Vertikalneigungs-Merkmal von dem genannten ersten Spiegelsystem geliefert wird, welches auch in einer vertikalen Richtung rotierbar ist.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 28 bis 30, bei welchem das genannte Vertikalneigungs-Merkmal von einem zweiten Spiegelsystem geliefert wird, welches in einer vertikalen Richtung rotierbar ist, um die genannten Zielobjektbilder in die genannte Videokamera zu reflektieren.
Gesichtsbilderzeugungssystem nach einem der Ansprüche 28 bis 32, bei welchem die genannte Kameraeinheit-Steuereinrichtung Videokamera-Datenverarbeitungssoftware einschließt, um die genannten Zielobjektbilder zu verarbeiten und Videobilddaten zu liefern, und bei welchem die genannte Kameraeinheit-Steuereinrichtung konfiguriert ist, um die genannten Videobilddaten zu benutzen, um bei dem automatisierten Steuern der genannten Horizontalschwenk-, Zoom- und Vertikalneigungs-Merkmale zu helfen.
Bilderzeugungssystem nach einem der Ansprüche 28 bis 33, bei welchem das genannte Bildfeststellungssystem Gesichtsbilddaten erzeugt und die genannte Kameraeinheit-Steuereinrichtung konfiguriert ist, um die genannten Gesichtsbilddaten zu benutzen, um bei dem automatisierten Steuern der genannten Horizontalschwenk-, Zoom- und Vertikalneigungs-Merkmale zu helfen.
Bilderzeugungssystem nach Anspruch 2, bei welchem die genannte Kameraeinheit automatisierte Horizontalschwenk-, Zoom- und Vertikalneigungs-Merkmale einschließt, und bei welchem das genannte Bildaufspürsystem Gesichtsaufspürdaten erzeugt und die genannte Kameraeinheit-Steuereinrichtung konfiguriert ist, um die genannten Bildaufspürdaten zu benutzen, um bei einem automatisierten Steuern der genannten Horizontalschwenk-, Zoom- und Vertikalneigungs-Merkmale zu helfen.