DE102017010920A1

DE102017010920A1 - Extrahieren von Ausweisdaten

Info

Publication number: DE102017010920A1
Application number: DE102017010920.6A
Authority: DE
Inventors: Curd Wallhäußer; René Kugler; Stephan Hackenberg
Original assignee: Giesecke and Devrient Mobile Security GmbH
Current assignee: Giesecke and Devrient ePayments GmbH
Priority date: 2017-11-24
Filing date: 2017-11-24
Publication date: 2019-05-29
Also published as: EP3714379A1; WO2019101358A1

Abstract

Die vorliegende Erfindung ist gerichtet auf ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten, wie es beispielsweise bei einem sogenannten Video-Ident-Verfahren Einsatz findet. Erfindungsgemäß ist es möglich, vollautomatisch Informationen aus einem Ausweisdokument auszulesen, auch wenn das Ausweisdokument mittels eines Videostreams bereitgestellt wird. In weiteren Verfahrensschritten kann die bereitgestellte Information dann verifiziert werden. Die vorliegende Erfindung ist ebenfalls gerichtet auf eine entsprechend eingerichtete Systemanordnung sowie auf ein Computerprogrammprodukt mit Steuerbefehlen, welche das Verfahren implementieren bzw. die Systemanordnung betreiben.

Description

Die vorliegende Erfindung ist gerichtet auf ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten, wie es beispielsweise bei einem sogenannten Video-Ident-Verfahren Einsatz findet. Erfindungsgemäß ist es möglich, vollautomatisch Informationen aus einem Ausweisdokument auszulesen, auch wenn das Ausweisdokument mittels eines Videostreams bereitgestellt wird. In weiteren Verfahrensschritten kann die bereitgestellte Information dann verifiziert werden. Die vorliegende Erfindung ist ebenfalls gerichtet auf eine entsprechend eingerichtete Systemanordnung sowie auf ein Computerprogrammprodukt mit Steuerbefehlen, welche das Verfahren implementieren bzw. die Systemanordnung betreiben.
US 2008/0091713 A1 zeigt ein Auslesen von Zeichen aus einem Videorahmen unter Verwendung von Texterkennung, auch Optical Character Recognition, OCR, genannt.
US 7,689,613 B2 zeigt ein Auslesen von Metadaten aus einem Bildrahmen, wobei ebenfalls ein OCR-Algorithmus Verwendung findet.
US 7,639,387 B2 zeigt die Aufbereitung von Metadaten im Kontext von Multimediadaten.
Gemäß herkömmlicher Verfahren ist das Telebanking bekannt, im Rahmen dessen auch ein sogenanntes Video-Ident-Verfahren bekannt ist. Dabei soll dem Bankkunden ermöglicht werden, dass er keine Filiale aufsuchen muss, sondern vielmehr kann er mittels einer Videoübertragung eine Verifikation veranlassen. Hierzu verwendet mindestens der Bankkunde und optional die Bankfiliale eine Webcam, in welche der Bankkunde einen Ausweis zeigt. Somit wird ein Videostream, also ein Bewegtbild, von Autorisierungsdokumenten an die Bank übertragen und die Bank kann daraufhin eine bestimmte Dienstleistung freischalten, falls der Bankkunde positiv verifiziert wurde. Es muss sichergestellt werden, dass das Ausweisdokument auch dann sicher überprüft werden kann, falls die Videoqualität variiert.
Ein weiteres Problem bei einem solchen entfernten Autorisieren ist es, dass bestimmte Sicherheitsmerkmale eines Ausweisdokuments nicht mehr aus dem Bildstrom erkennbar sind. Beispielsweise umfassen Wertdokumente bzw. Ausweisdokumente Sicherheitsmerkmale, welche ein Hologramm oder ein Wasserzeichen aufweisen. Auch können bestimmte Kippeffekte nicht nachvollzogen werden, bei denen sich je nach Betrachtungswinkel des Ausweisdokuments unterschiedliche Bilder ergeben. Ferner sind diffraktive Elemente bekannt, welche typischerweise ebenfalls nicht mittels eines Videostreams übertragbar sind. Da solche herkömmlichen Sicherheitsmerkmale bei einem entfernen Autorisieren nicht verwendet werden können, besteht ein Bedarf an neuartigen Verfahren, welche zuverlässig Ausweisdaten auch dann auslesen können, falls diese entfernt mittels einer Videoübertragung bereitgestellt werden.
Gemäß herkömmlicher Verfahren erfolgt ein solches Verifizieren typischerweise durch einen menschlichen Benutzer, welcher auf Seiten der Bank den Bildstrom, also das Video, überwacht und hierbei manuell Ausweisdaten des Bankkunden entgegennimmt. Dies ist nicht nur arbeitsaufwendig, sondern vielmehr ist dies auch fehleranfällig, da aufgrund einer verzögerten und unklaren Videoübertragung eine Verfälschung der Ausweisdaten möglich ist. So werden einzelne Bildrahmen typischerweise segmentiert und ggf. werden diese Segmente nicht synchron übertragen. Bestimmte Videoalgorithmen liefern nicht ein Segment, welches das gesamte Bild umfasst, sondern übertragen nur diejenige Information des Videobilds, welche sich ändert. Hierdurch ist es möglich, dass Segmente nicht gleichzeitig synchronisiert werden und somit beispielsweise eine Zeichenkette falsch angezeigt wird. Während dies bei einem Videostreaming im Entertainmentbereich nicht auffällt, kann es hingegen bei sicherheitsrelevanten Anwendungen zur Verfälschung von Daten kommen.
Somit bestehen gerade im Anwendungsszenario der Verifikation von Ausweisdokumenten besondere Anforderungen und bestehende Verfahren des Videostreamings können nicht einfach übertragen werden. Hierbei ist es nachteilig, dass bekannte Verfahren, welche beispielsweise einen OCR-Algorithmus auf Bilddaten anwenden, nicht derart zuverlässig sind, dass diese im Rahmen einer Sicherheitsprüfung Einsatz finden können.
Es ist somit eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten bereitzustellen, welches sowohl sicher verifizierbare Daten liefert und darüber hinaus ein menschliches Zutun derart ausschließt, dass das Verfahren vollautomatisiert ausgeführt werden kann und hierdurch menschliche Fehler vermieden werden. Es ist ferner eine Aufgabe der vorliegenden Erfindung, eine entsprechend eingerichtete Systemanordnung vorzuschlagen, sowie ein Computerprogrammprodukt mit Steuerbefehlen, welche das Verfahren implementieren bzw. die Systemanordnung betreiben.
Die Aufgabe wird gelöst mit den Merkmalen der unabhängigen Patentansprüche. Weitere vorteilhafte Ausgestaltungen werden in den abhängigen Ansprüchen angegeben.
Demgemäß wird ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument vorgeschlagen, umfassend ein Bereitstellen eines Bewegtbildes des Ausweisdokuments eines Benutzers, wobei ein Bereitstellen einer Ausweisspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments und ein Erkennen von alpha-numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitgestellten Ausweisspezifikation derart erfolgt, dass anhand der Formatvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Ausweispezifikation alpha-numerische Zeichen aufweisen.
Das vorgeschlagene Verfahren kann vollautomatisiert ausgeführt werden, wobei lediglich ein menschlicher Benutzer sein Ausweisdokument mittels eines Videostreams bereitstellt. Somit wird nicht lediglich ein einzelnes Bild des Ausweisdokuments bereitgestellt, sondern typischerweise wird ein Videostream in Form von Bewegtbildern übertragen, wobei mehrere sogenannte Rahmen bzw. Frames vorgesehen sind. Somit umfasst ein Bewegtbild eine Vielzahl von einzelnen Bildern. Diese einzelnen Bilder ergeben in ihrer Gesamtheit ein Bewegtbild bzw. einen Videostream. Hierbei ist es nicht notwendig, dass die einzelnen Rahmen bzw. Frames des Bewegtbilds einzeln übertragen werden, sondern vielmehr können diese auch derart übertragen werden, dass lediglich einzelne Segmente des Gesamtbilds übertragen werden.
Ist beispielsweise in einem ersten Rahmen ein schwarzer Hintergrund vorhanden und in einem Vordergrund befindet sich ein Ausweisdokument, so kann bei einem Bewegen des Ausweisdokuments der schwarze Hintergrund nicht neu übermittelt werden und lediglich die sich ändernden Bildinformationen werden neu übertragen. Wie die Bewegtbilder genau übertragen werden, unterliegt dem jeweils gewählten Algorithmus bzw. der gewählten Bildcodierung. Vorliegend bezieht sich ein Bewegtbild auf ein Video, welches vorzugsweise mittels eines Kommunikationsnetzwerks übertragen bzw. gestreamt wird. Während im Kontext der vorliegenden Erfindung ein Streamen bevorzugt ist, lässt sich auch ein lokal abgespeichertes Video zeitversetzt analysieren.
Ein entferntes Extrahieren stellt darauf ab, dass die Bewegtbilder telekommunikationstechnisch übermittelt werden und vorzugsweise mittels einer gepufferten Datenkommunikation übertragen werden. Somit erfolgt also kein Extrahieren von Ausweisdaten derart, dass ein Benutzer sein Ausweisdokument vorhält und dieses in der Gegenwart des Benutzers bzw. des physischen Vorliegens des Ausweisdokuments analysiert wird. Vielmehr ist es ein Aspekt der vorliegenden Erfindung, dass die Bewegtbilder des Ausweisdokuments mittels einer Datenkommunikationsschnittstelle bereitgestellt werden und vorzugsweise wird das Bewegtbild mittels Videostreamings bereitgestellt. Somit kann es sich also um ein computerimplementiertes Verfahren handeln, welches eine Datenschnittstelle verwendet, um das Bewegtbild des Ausweisdokuments entgegenzunehmen.
Als ein Ausweisdokument kann beispielsweise ein Personalausweis, ein Passport oder aber auch ein von einem Unternehmen ausgegebenes Ausweisdokument Verwendung finden. Alle diese Ausweisdokumente haben es typischerweise gemeinsam, dass sich diese mittels einer Ausweisspezifikation beschreiben lassen. Beispielsweise befinden sich in einem Personalausweis stets an der gleichen Stelle relevante Informationen wie Name und Geburtsdatum. Generell können also unterschiedliche Typen von Ausweisdokumenten verwendet werden, welche jedoch untereinander jeweils gleich sind. So kann eine Ausweisspezifikation entweder einen Personalausweis oder einen Passport beschreiben. Generell befinden sich relevante Informationen in einem Personalausweis an einer anderen Stelle als in einem Passport. Um dies vorab berücksichtigen zu können, wird eine Ausweisspezifikation bereitgestellt, welche das Ausweisdokument beschreibt. Somit liefert die Ausweisspezifikation Informationen darüber, wo bestimmte Informationen vorzusehen sind und ggf. wie diese zu interpretieren sind.
Die Ausweisspezifikation kann derart bereitgestellt werden, dass der Dienstanbieter vorgibt, welches Ausweisdokument Verwendung finden soll und beispielsweise verlangen, dass nur ein Passport akzeptiert wird. Dann wird eben auch nur eine Ausweisspezifikation bereitgestellt, die den Passport bzw. kurz den Pass, beschreibt. Optional ist es auch möglich, dem Kunden bzw. dem Benutzer die Entscheidung zu überlassen, welches Ausweisdokument er verwenden möchte. Hierbei können bekannte Verfahren, wie beispielsweise ein Pattern Matching, verwendet werden, die selbsttätig erkennen, ob es sich bei dem Ausweisdokument um einen Personalausweis oder aber um einen Pass handelt. Somit kann automatisiert die jeweilige Ausweisspezifikation gewählt werden und das Ausweisdokument kann flexibel analysiert werden. Ferner ist es möglich, dass ein Unternehmen ein eigenes Ausweisdokument vergibt und somit auch die Ausweisspezifikation liefert. Somit ist es dem Unternehmen möglich, das Ausweisdokument nach eigenen Vorgaben zu gestalten und mittels der Ausweisspezifikation anzugeben, welche Information an welcher Stelle auf dem Ausweisdokument vorzusehen ist.
Folglich beschreibt die Formatvorgabe Spezifikationen des Ausweisdokuments und beschreibt nicht lediglich, wo sich welche Information spezifikationsgemäß befindet, sondern vielmehr können optional auch Vorgaben gemacht werden, wie die einzelnen Informationen zu interpretieren sind. So sind bereits Formate bekannt, die angeben, wie eine gewisse Zeichenfolge zu interpretieren ist.
Beispielsweise werden unterschiedlich semantische Informationen aneinandergereiht, und ein Lesegerät ist eingerichtet, diese unterschiedlichen Informationen aus der Zeichenkette zu entnehmen und zu interpretieren. Eine solche Formatvorgabe kann vorsehen, dass in einer ersten Zeile stets ein Name angegeben wird und in einer zweiten Zeile stets ein Geburtsdatum. Somit kann beispielsweise die Formatvorgabe dazu verwendet werden, dass, falls lediglich ein Name auszulesen ist, auch nur derjenige Bereich des Ausweisdokuments analysiert wird, der den Namen aufweist. Ist beispielsweise auf einem Ausweisdokument ein Geburtsdatum stets in der Mitte angegeben, so kann die Formatvorgabe auch dies spezifizieren, und es ist eben nur die Mitte des Ausweisdokuments zu analysieren und nicht-relevante Segmente des Ausweisdokuments müssen nicht analysiert werden.
Hierdurch wird technischen Überlegungen Sorge getragen, welche berücksichtigen, dass ein Analysieren eines Ausweisdokuments typischerweise rechenintensiv ist und oftmals insofern ungenau ist, dass es sich bei einem entfernten Extrahieren nicht sicherstellen lässt, dass die Bildqualität einer gewünschten Bildqualität entspricht. Somit wird erfindungsgemäß der Nachteil überwunden, dass stets ein gesamtes Bild analysiert werden muss, obwohl lediglich an einer bestimmten Stelle eine Information zu erwarten ist. Somit wird Rechenkapazität eingespart und die Fehlerquote minimiert. Insbesondere wird ein menschliches Zutun ausgeschlossen, welches ebenfalls fehleranfällig wäre. Bekannte Verfahren lassen sich deshalb nicht auf das Extrahieren von Ausweisdaten übertragen, da es hierbei typischerweise nicht relevant ist, dass die übertragene Information einer Sicherheitsüberprüfung standhält. So ist es besonders vorteilhaft, dass das vorgeschlagene Verfahren speziell auf Ausweisdaten abstellt und hierbei berücksichtigt, dass Ausweisdokumente stets einem vorgegebenen Format entsprechen.
Da mittels der Ausweisspezifikation beschrieben wird, wo sich welche Information zu befinden hat, ist es nunmehr auch möglich, ein Erkennen von alpha-numerischen Zeichen durchzuführen. Dies kann vorteilhafterweise derart erfolgen, dass lediglich derjenige Bereich des Ausweisdokuments analysiert wird, an dem gemäß der Spezifikation die gewünschten alpha-numerischen Zeichen vorhanden sind. Bei alpha-numerischen Zeichen kann es sich um Buchstaben, Zeichen oder einer Kombination aus beiden handeln. Hierbei kann auch ein bestimmter Zeichensatz berücksichtigt werden, der beispielsweise vorgibt, dass die alpha-numerischen Zeichen auch Umlaute umfassen dürfen. Hierdurch ist es möglich, die Ausweisdaten zu extrahieren und von den empfangenen Bilddaten Metadaten zu extrahieren. Somit werden die Ausweisdaten einer Überprüfung zugänglich gemacht und liegen sodann als Zeichenketten vor. Ein Erkennen von alpha-numerischen Zeichen kann Algorithmen umfassen, welche auch im Rahmen von OCR-Verfahren Verwendung finden. Beispielsweise ist es möglich, ein sogenanntes Pattern Matching derart durchzuführen, dass der Zeichensatz als Bilder der einzelnen Zeichen vorliegt und diese Bilder mit den analysierten Bewegtbildern verglichen werden. Auf diese Art kann bei einer ausreichenden Übereinstimmung erkannt werden, dass ein Bewegtbild bzw. ein Rahmen davon, ein alpha-numerisches Zeichen aufweist.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Gültigkeitsinformation bereitgestellt und mittels eines Vergleichens der Gültigkeitsinformation mit den erkannten alpha-numerischen Zeichen wird eine Gültigkeitsprüfung des Ausweisdokuments durchgeführt. Dies hat den Vorteil, dass, sobald die alpha-numerischen Zeichen erkannt wurden, auch eine Autorisierung eines Benutzers stattfinden kann. Hierbei kann spezifiziert werden, dass die Gültigkeitsinformation angibt, wie der Name eines zu autorisierenden Benutzers lautet und dieser kann mit den erkannten Zeichen verglichen werden. Findet sich die Gültigkeitsinformation auf dem Ausweisdokument wieder, so wird die Gültigkeit positiv verifiziert. Hingegen kann auch ein Ablaufdatum des Ausweisdokuments ausgelesen werden und falls dies als Gültigkeitskriterium spezifiziert wird, kann das Ausweisdokument negativ verifiziert werden, da es abgelaufen ist. Hierdurch ist es möglich, auch mittels eines entfernten Bereitstellens eines Bewegtbildes von Ausweisdokumenten sicherzustellen, dass der Ausweis tatsächlich seine Gültigkeit hat.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird mittels eines Vergleichens von abgespeicherten Ausweisspezifikationen mit dem Bewegtbild des Ausweisdokuments automatisiert erkannt, welcher Ausweisspezifikation das Ausweisdokument entspricht. Dies hat den Vorteil, dass das Ausweisdokument vorab nicht spezifiziert werden muss, sondern vielmehr kann der Benutzer auswählen, ob er nunmehr seinen Personalausweis oder seinen Pass vorhält. Da vorab Bilder von Ausweisdokumenten hinterlegt werden können, kann nunmehr automatisiert festgestellt werden, um welchen Ausweistyp es sich handelt und demgemäß die entsprechende Ausweisspezifikation geladen werden. Somit wird also erkannt, welches Ausweisdokument vorgehalten wird, und es kann ferner erkannt werden, an welcher Stelle bzw. an welchem Bereich sich eine Information auf dem Ausweisdokument befinden muss. Es kann dynamisch zur Laufzeit eine passende Ausweisspezifikation in Abhängigkeit des bereitgestellten Ausweisdokument gewählt werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung stellt die Ausweisspezifikation einen Hinweis auf einen maschinenlesbaren Bereich bereit. Dies hat den Vorteil, dass identifiziert werden kann, wo welche Information bereitzustellen ist und somit lediglich der relevante Bereich des Ausweisdokuments analysiert werden muss. Hintergrunddaten bzw. Daten des Ausweisdokuments, welche nicht relevant sind, können somit ausgeblendet werden und werden nicht analysiert. Es wird sichergestellt, dass nicht über die Maßen Rechenkapazitäten beansprucht werden. Dies führt zudem dazu, dass die vorhandenen Rechenkapazitäten fokussiert auf relevante Bereiche angesetzt werden können. Somit kann das bereitgestellte Bewegtbild mit einer höheren Rahmenrate analysiert werden. Die Rahmenrate, auch als Frame Rate bezeichnet, gibt an, wie viele Rahmen pro Sekunde bereitgestellt bzw. analysiert werden. Erfindungsgemäß können das besonders viele Rahmen sein, da fokussiert ein Teilbereich des bereitgestellten Bewegtbildes analysiert wird. Ferner kann ein maschinenlesbarer Bereich als eine sogenannte Machine Readable Zone, MRZ, vorliegen. Hierzu können Standards verwendet werden, die genau angeben, wo sich auf einem Datenträger, beispielsweise auf einem Reisedokument, bestimmte Informationen zu befinden haben. Werden auf dem bereitgestellten Ausweisdokument Abweichungen erkannt, so kann das entsprechende Ausweisdokument negativ verifiziert werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Ausweisspezifikation gemäß Dokument 9303 der International Civil Aviation Organization bereitgestellt. Hierbei handelt es sich ebenfalls um einen Standard, und es können vorbestimmte Ausweisspezifikationen bereitgestellt werden, welche standardgemäß sind. Somit kann u. a. auch eine Fälschung eines Ausweisdokuments erkannt werden. Bei dem Dokument 9303 kann es sich um den Standard des Herausgebers „International Civil Aviation Organization ICAO“ in der 7. Auflage handeln, mit ISBN 978-92-9249-790-3. Hierbei ist es jedoch auch möglich, dass andere Standards Anwendung finden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung stellt die Auswahlspezifikation einen Hinweis auf einen Zeichensatz der Ausweisdaten des Ausweisdokuments bereit. Dies hat den Vorteil, dass vorab spezifiziert werden kann, welche alpha-numerischen Zeichen überhaupt zu erwarten sind, und somit kann die Erkennung solcher Zeichen optimiert werden. Beispielsweise kann angegeben werden, ob Umlaute zu erwarten sind oder nicht. Dies erhöht insgesamt die Trefferquote der Zeichenerkennung.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung stellt die Gültigkeitsinformation einen Hinweis auf eine gültige Prüfsumme, eine Datumsangabe, einen Zeichensatz, einen Wertebereich, eine Datenstruktur, eine Datencodierung und/oder ein Gültigkeitskriterium des Ausweisdokuments bereit. Dies hat den Vorteil, dass die Echtheit des Ausweisdokuments geprüft werden kann, wozu beispielsweise Prüfsummen verwendet werden. Ferner kann mittels der Datumsangabe spezifiziert werden, ob das Ausweisdokument noch valide ist oder ob es bereits abgelaufen ist. Liegen unbekannte Zeichensätze vor, so kann ebenfalls festgestellt werden, dass es sich um eine Fälschung handelt. Bei der Datencodierung kann angegeben werden, an welcher Stelle sich eine semantische Information zu befinden hat. So kann spezifiziert werden, dass es sich bei einem Textfeld um einen Namen handeln muss, und bei einem weiteren Textfeld es sich um eine Adresse handeln muss. In dieser Weise lässt sich das Ausweisdokument auch semantisch analysieren und es kann vorab eine Information bereitgestellt werden, welche Information erwartet wird, damit ein Ausweisdokument als positiv verifiziert wird.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt das Erkennen von alpha-numerischen Zeichen unter Verwendung eines OCR-Algorithmus. Dies hat den Vorteil, dass bekannte Implementierungen verwendet werden können und insbesondere kann ein Pattern Matching verwendet werden, das auf bereits bekannte Verfahren abstellt. Dies bietet insgesamt den Vorteil, dass bereits erprobte Algorithmen in einem anderen Anwendungsszenario spezialisiert verwendet werden können.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden die Ausweisdaten anhand der Ausweisspezifikation interpretiert. Dies hat den Vorteil, dass nicht lediglich Zeichenketten verglichen werden, sondern vielmehr werden Informationen derart berücksichtigt, dass deren semantischer Gehalt ausgewertet werden kann. Dies wird dadurch möglich, dass angegeben wird, an welcher Stelle sich welche Information zu befinden hat, und hierdurch kann sichergestellt werden, dass es sich bei einer Zeichenkette in einem Namensfeld tatsächlich um einen Namen handelt. Somit können bestimmte Zeilen bzw. Spalten berücksichtigt werden und es wird festgestellt, dass es sich bei einem Datum entweder um ein Geburtsdatum handelt ober aber auch um ein Ablaufdatum. Dies ermöglicht es, die Echtheit des Ausweisdokuments zu verifizieren, und nicht lediglich Zeichenketten vergleichen zu müssen.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Bewegtbild mehrere Bildrahmen auf und das Erkennen von alpha-numerischen Zeichen erfolgt für mehrere Bildrahmen. Dies hat den Vorteil, dass das Bewegtbild in einzelne Rahmen segmentiert werden kann und eine identifizierte Information anhand von weiteren Bildrahmen überprüft werden kann. Da stets das gleiche Ausweisdokument vorgehalten wird, ist anzunehmen, dass alle Bildrahmen den gleichen Namen aufweisen. Wird beispielsweise ein Bildrahmen fehlinterpretiert und ein Buchstabe falsch erkannt, so kann anhand der weiteren Bildrahmen erkannt werden, dass der einzelne Bildrahmen falsch interpretiert wurde. Würden beispielsweise 100 Bildrahmen analysiert und eine Zeichenkette wird in 99 Bildrahmen erkannt und eine andere Zeichenkette wird in einem Bildrahmen erkannt, so kann festgestellt werden, dass die Zeichenkette der 99 Bildrahmen korrekt interpretiert wurde und ein Bildrahmen falsch ausgewertet wurde.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Anzahl der zu analysierenden Bildrahmen in Abhängigkeit einer Bildrate des Bewegtbildes gewählt. Dies hat den Vorteil, dass, falls mehrere Bildrahmen zur Verfügung stehen als benötigt werden, entsprechende redundante Bildrahmen aussortiert werden können. Ist die Bildrate hingegen besonders langsam, so kann es möglich sein, dass alle übertragenen Bildrahmen zur Analyse notwendig sind. Wird beispielsweise das Bewegtbild mit 30 Rahmen pro Sekunde, also 30 Frames per Second, übertragen, so kann es notwendig sein, jedes zweite Rahmenbild zu analysieren, wobei aus einer Frame Rate von 60 Bildrahmen eine geringere Quote gewählt wird. Somit kann auch die Rechenintensität skaliert werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Bewegtbild mehrere Bildrahmen auf und mit Bezug auf einen Bildausschnitt des Ausweisdokuments, einer Orientierung, einer Belichtung, einer Fokussierung und/oder weiterer Bildparameter wird ein geeigneter Bildrahmen zum Erkennen der alpha-numerischen Zeichen ausgewählt. Dies hat den Vorteil, dass die einzelnen Bildrahmen des Bewegtbilds analysiert werden können und festgestellt werden kann, ob sich diese zum Extrahieren von Ausweisdaten eignen. So kann sichergestellt werden, dass in dem bewegten Bild ein korrekter Bildausschnitt des Ausweisdokuments vorhanden ist und das Ausweisdokument auch gerade ausgerichtet ist. Ferner kann die Belichtung oder die Fokussierung analysiert werden und somit kann abgeschätzt werden, ob sich mit hoher Wahrscheinlichkeit ein Zeichen erkennen lässt.
Somit ist ein Bildrahmen stets genau dann geeignet, falls mit hoher Treffsicherheit ein Zeichen extrahiert werden kann. Ist beispielsweise das Bewegtbild zu dunkel bzw. zu wenig beleuchtet, so kann entschieden werden, dass der Bildrahmen nicht geeignet ist und somit zum Erkennen der alpha-numerischen Zeichen ein anderer Bildrahmen verwendet wird. Hierzu kennt der Fachmann entsprechende Schwellwerte, die angeben, ob ein Bildrahmen zur Analyse geeignet ist oder auch nicht.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden zusätzlich zu alpha-numerischen Zeichen weitere optische Sicherheitsmerkmale erkannt. Dies hat den Vorteil, dass auch Bilddaten in die Analyse einbezogen werden und somit sichergestellt werden kann, dass tatsächlich der Ausweisinhaber auf dem Bewegtbild zu erkennen ist.
Die Aufgabe wird auch gelöst durch eine Systemanordnung zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument, umfassend eine Telekommunikationsschnittstelle, eingerichtet zum Bereitstellen eines Bewegtbildes des Ausweisdokuments eines Benutzers, wobei eine Speichereinheit eingerichtet zum Bereitstellen einer Ausweisspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments und eine Erkennungseinheit eingerichtet zum Erkennen von alpha-numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitgestellten Ausweisspezifikation derart vorgesehen ist, dass anhand der Formatvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Ausweisspezifikation alpha-numerische Zeichen aufweisen.
Die Aufgabe wird auch gelöst durch ein Computerprogrammprodukt mit Steuerbefehlen, welche das vorgeschlagene Verfahren ausführen bzw. die vorgeschlagene Systemanordnung betreiben.
Erfindungsgemäß ist es besonders vorteilhaft, dass das Verfahren Verfahrensschritte vorsieht, welche auch mittels struktureller Merkmale der Systemanordnung bereitgestellt werden können. Ferner umfasst die Systemanordnung strukturelle Merkmale, deren Funktionalität auch als Verfahrensschritte abgebildet werden kann. Das Verfahren ist geeignet, die vorgeschlagene Systemanordnung zu betreiben und die Systemanordnung ist entsprechend eingerichtet, das Verfahren auszuführen.
Weitere vorteilhafte Ausgestaltungen werden anhand der beigefügten Figuren näher erläutert. Es zeigen:

1: ein schematisches Ablaufdiagramm eines herkömmlichen Verfahrens zur Analyse eines Videostreams;
2: ein schematisches Ablaufdiagramm eines Verfahrens zum automatischen und entfernten Extrahieren von Ausweisdaten gemäß einem Aspekt der vorliegenden Erfindung; und
3: ein weiteres schematisches Ablaufdiagramm des erfindungsgemäßen Verfahrens zum Extrahieren von Ausweisdaten.

1 zeigt ein Verfahren gemäß dem Stand der Technik, bei dem mittels menschlichem Zutuns eine Gültigkeitsprüfung erfolgt. Hierbei erfolgt in einem ersten Verfahrensschritt 10 ein Beurteilen eines Videostreams durch einen Menschen, ob er ein Bild enthält, das einer OCR-Behandlung zugänglich ist. Gegebenenfalls folgt sodann eine manuelle Rückmeldung. Dies benötigt insgesamt eine hohe menschliche Aufmerksamkeit und ist fehleranfällig. In einem darauffolgenden Verfahrensschritt 11 wird ein generisches OCR, also kein spezialisiertes OCR-Verfahren wie es erfindungsgemäß vorgeschlagen wird, verwendet, welches keine Zusatzinformationen über den zu erfassenden Text benutzt. Dies ist sehr rechenintensiv und somit kostenintensiv. Sodann erfolgt in Verfahrensschritt 12 die Gültigkeitsprüfung der Ausweisdaten.
Ein Video-Stream (oder Kamera-Sucherfenster) wird von einem menschlichen Bediener beobachtet und beurteilt ob darin ein für die Erfassung geeignetes Bild (d. h. mit passender/m Bildausschnitt, Orientierung, Belichtung, Fokussierung etc.) enthalten ist. Falls das zutrifft, löst der Bediener eine Erfassung des aktuellen Bildes aus. Das erfasste Bild wird z. B. mittels generischem OCR weiterverarbeitet und anschließend automatisch bzgl. bekannter Nebenbedingungen (z. B. Checksummen, Gültigkeit von Datumsangaben, definierter Struktur des Namensfeldes, etc.) geprüft. Auch andere Verarbeitungsschritte, wie z. B. Überprüfen von optischen Sicherheitsmerkmalen eines Ausweisdokuments, sind denkbar. Falls die Prüfung nicht erfolgreich war, muss der Vorgang vom Bediener wiederholt werden.
2 zeigt hingegen ein Ablaufdiagramm gemäß der vorgeschlagenen Erfindung und sieht in Verfahrensschritt 20 vor, dass eine fortlaufende Erfassung eines Bildes aus einem Videostream erfolgt. Sodann erfolgt in Verfahrensschritt 21 ein spezialisiertes OCR-Erkennungsverfahren, welches auf der einen Seite zwar schnell ausgeführt werden kann, aber dennoch relativ wenig rechenintensiv ist. Hierbei wird A-priori-Wissen über MRZ-Feld-Inhalte anhand einer Zeichenposition, also einer Zeile bzw. Spalte, verwendet. In einem darauffolgenden Verfahrensschritt 22 erfolgt eine automatisierte Gültigkeitsprüfung. Hierbei ist es möglich, nach der Ausführung des Verfahrensschritts 22 wieder in den Verfahrensschritt 20 iterativ überzugehen und einen weiteren Bildrahmen zu analysieren. Analog kann das Verfahren aber auch terminieren und die Gültigkeitsprüfung ist abgeschlossen.
3 zeigt ebenfalls ein schematisches Ablaufdiagramm eines weiteren Aspekts der vorliegenden Erfindung. Insbesondere zeigt 3 ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument, umfassend ein Bereitstellen 100 eines Bewegtbildes des Ausweisdokuments eines Benutzers, wobei ein Bereitstellen 101 einer Auswahlspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments und ein Erkennen 102 von alpha-numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitgestellten Auswahlspezifikation derart erfolgt, dass anhand der Formatvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Auswahlspezifikation alpha-numerische Zeichen aufweisen. Optional kann eine Gültigkeitsinformation bereitgestellt werden 101A und mittels eines Vergleichens 103 der Gültigkeitsinformation mit den erkannten 102 alpha-numerischen Zeichen eine Gültigkeitsprüfung des Ausweisdokuments erfolgen.
Der Fachmann erkennt hierbei, dass die vorgenannten Verfahrensschritte iterativ und/oder in anderer Reihenfolge ausgeführt werden können.
Einem Video-Stream werden fortlaufend Bilder eines optisch lesbaren Datenfeldes (z. B, MRZ-Bereich eines Personalausweises oder Reisepasses) entnommen und mit einem speziellen OCR-Algorithmus verarbeitet. Idealerweise arbeitet der OCR-Algorithmus so schnell, dass viele Erkennungszyklen pro Sekunde erfolgen. Die für die Daten bekannten Nebenbedingungen (z. B. Checksummen, Gültigkeit von Datumsangaben, definierte Struktur des Namensfeldes, etc.) werden verwendet, um automatisch den fortlaufenden Erkennungsvorgang zu beenden und die mit hoher Wahrscheinlichkeit korrekt erkannten Datenfelder zu übernehmen. Der spezielle OCR-Algorithmus soll zwar sehr schnell arbeiten, darf aber eine relativ niedrige Erkennungsfähigkeit aufweisen, da Fehlversuche mit hoher Wahrscheinlichkeit aufgrund der automatischen Überprüfung der Nebenbedingungen erkannt werden. Der spezielle OCR-Algorithmus verwendet möglichst viel a-priori Wissen über den Inhalt der Datenfelder (z. B. Beschränkungen im Zeichensatz, Gültigkeit von Checksummen, Gültigkeit von Datumsangaben). Wenn die OCR-Erfassung nach Überprüfung der Nebenbedingungen erfolgreich war, kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass das gesamte Bild „gut“ ist (d. h. es ist ein passender Bildausschnitt, Orientierung, Belichtung, Fokussierung etc. gegeben), so dass davon auszugeben ist, dass es auch für andere Verarbeitungsschritte (z. B. Überprüfung optischer Sicherheitsmerkmale) geeignet ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2008/0091713 A1 [0002]
US 7689613 B2 [0003]
US 7639387 B2 [0004]

Claims

Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument, umfassend: - Bereitstellen (100) eines Bewegtbildes des Ausweisdokuments eines Benutzers, dadurch gekennzeichnet, dass - ein Bereitstellen (101) einer Ausweisspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments; und - ein Erkennen (102) von alpha-numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitgestellten Ausweisspezifikation derart erfolgt, dass anhand der Formatvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Ausweisspezifikation alpha-numerische Zeichen aufweisen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Gültigkeitsinformation bereitgestellt (101A) wird und mittels eines Vergleichens (103) der Gültigkeitsinformation mit den erkannten (102) alpha-numerischen Zeichen eine Gültigkeitsprüfung des Ausweisdokuments erfolgt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mittels eines Vergleichens von abgespeicherten Ausweisspezifikationen mit dem Bewegtbild des Ausweisdokuments automatisiert erkannt wird, welcher Ausweisspezifikation das Ausweisdokument entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausweisspezifikation einen Hinweis auf einen maschinenlesbarer Bereich bereitstellt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausweisspezifikation gemäß Dokument 9303 der International Civil Aviation Organization bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausweisspezifikation einen Hinweis auf einen Zeichensatz der Ausweisdaten des Ausweisdokuments bereitstellt.
Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass die Gültigkeitsinformation einen Hinweis auf eine gültige Prüfsumme, eine Datumsangabe, einen Zeichensatz, einen Wertebereich, eine Datenstruktur, eine Datencodierung und/oder ein Gültigkeitskriterium des Ausweisdokuments bereitstellt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennen (102) von alpha-numerischen Zeichen unter Verwendung eines OCR-Algorithmus erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausweisdaten anhand der Ausweisspezifikation interpretiert werden..
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bewegtbild mehrere Bildrahmen aufweist und das Erkennen (102) von alpha-numerischen Zeichen für mehrere Bildrahmen erfolgt.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Anzahl der zu analysierenden Bildrahmen in Abhängigkeit einer Bildrate des Bewegtbildes gewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bewegtbild mehrere Bildrahmen aufweist und mit Bezug auf einen Bildausschnitt des Ausweisdokuments, eine Orientierung, eine Belichtung, eine Fokussierung und/oder weitere Bildparameter ein geeigneter Bildrahmen zum Erkennen (102) der alpha-numerischen Zeichen verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu alpha-numerischen Zeichen weitere optische Sicherheitsmerkmale erkannt werden.
Systemanordnung zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument, umfassend: - eine Telekommunikationsschnittstelle eingerichtet zum Bereitstellen (100) eines Bewegtbildes des Ausweisdokuments eines Benutzers, dadurch gekennzeichnet, dass - eine Speichereinheit eingerichtet zum Bereitstellen (101) einer Ausweisspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments; und - eine Erkennungseinheit eingerichtet zum Erkennen (102) von alpha-numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitgestellten Ausweisspezifikation derart vorgesehen ist, dass anhand der Formatvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Ausweisspezifikation alpha-numerische Zeichen aufweisen.
Computerprogrammprodukt mit Steuerbefehlen, welche das Verfahren gemäß einem der Ansprüche 1 bis 13 ausführen, wenn sie auf einem Computer zur Ausführung gebracht werden.