DE102014108492A1

DE102014108492A1 - Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes

Info

Publication number: DE102014108492A1
Application number: DE102014108492.6A
Authority: DE
Inventors: Andreas Hartl; Dieter Schmalstieg; Olaf Dressel
Original assignee: Bundesdruckerei GmbH
Current assignee: Bundesdruckerei GmbH
Priority date: 2014-06-17
Filing date: 2014-06-17
Publication date: 2015-12-17
Also published as: EP3158543B1; EP3158543A1; WO2015193152A1

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung einer Bildkamera, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einem Erfassen (101) eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, einem Erfassen (103) eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und einem Erfassen (105) eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.

Description

Die vorliegende Erfindung betrifft das Gebiet der Detektion blickwinkelabhängiger Merkmale, insbesondere von Hologrammen, auf Dokumenten.
Blickwinkelabhängige Merkmale, beispielsweise Hologramme, werden für eine Vielzahl von Anwendungen eingesetzt, um eine Prüfung einer Echtheit oder Authentizität von Dokumenten zu ermöglichen. Beispielsweise werden blickwinkelabhängige Merkmale auf Identifikationsdokumenten oder Banknoten aufgebracht, um ein Kopieren der Dokumente zu erschweren. Blickwinkelabhängige Merkmale können dabei blickwinkelabhängige Darstellungen aufweisen.
Eine Verifikation eines blickwinkelabhängigen Merkmals zur Prüfung der Echtheit oder Authentizität eines Dokumentes kann manuell durch eine Person durchgeführt werden. Die Detektion des blickwinkelabhängigen Merkmals des Dokumentes erfolgt dabei visuell durch die Person. Anschließend kann das blickwinkelabhängige Merkmal visuell durch die Person verifiziert werden, beispielsweise durch einen visuellen Vergleich der Darstellungen des blickwinkelabhängigen Merkmals mit vorbekannten Referenzdarstellungen. Eine Detektion und Verifikation eines blickwinkelabhängigen Merkmals durch eine Person ist üblicherweise sehr zeitintensiv.
Zur Verifikation eines blickwinkelabhängigen Merkmals eines Dokumentes ist daher ein Einsatz elektronischer Assistenzsysteme von besonderem Interesse. Hierfür ist es wünschenswert, eine Detektion des blickwinkelabhängigen Merkmals des Dokumentes in automatisierter Weise durchzuführen. Es existieren jedoch keine Verfahren, welche eine Detektion des blickwinkelabhängigen Merkmals des Dokumentes in automatisierter Weise ermöglichen.
In A. Hartl, J. Grubert, D. Schmalstieg, und G. Reitmayr, „Mobile interactive hologram verification", in ISMAR, Seiten 75–82, 2013, ist ein Ansatz zur mobilen Verifikation von Hologrammen beschrieben.
In A. Hartl, und G. Reitmayr, „Rectangular target extraction for mobile augmented reality applications", in Proceedings of the International Conference an Pattern Recognition, Seiten 81–84, 2012, ist ein Ansatz zur Extraktion rechteckförmiger Objekte beschrieben.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes zu schaffen.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Zeichnungen.
Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe durch ein Erfassen von Bildern des Dokumentes in unterschiedlichen Raumlagen relativ zu dem Dokument und durch ein Bestimmen eines Bildunterschiedes zwischen den erfassten Bildern gelöst werden kann. Durch das Erfassen der Bilder des Dokumentes in unterschiedlichen Raumlagen wird erreicht, dass das blickwinkelabhängige Merkmal in den Bildern des Dokumentes unterschiedliche blickwinkelabhängige Darstellungen aufweist. Durch das Bestimmen des Bildunterschieds zwischen den erfassten Bildern, können Bildbereich mit starken optischen Veränderungen effizient dem blickwinkelabhängigen Merkmal zugeordnet werden.
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung einer Bildkamera, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einem Erfassen eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, einem Erfassen eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und einem Erfassen eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.
Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.
Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.
Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können.
Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können.
Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.
Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden.
Gemäß einer Ausführungsform umfasst das Verfahren ein Erfassen einer Mehrzahl von Bildern des Dokumentes durch die Bildkamera in unterschiedlichen Raumlagen des Dokumentes relativ zu der Bildkamera, wobei das Erfassen des ersten Bildes des Dokumentes ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen des zweiten Bildes des Dokumentes ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst. Dadurch wird der Vorteil erreicht, dass das erste Dokumentenbild und das zweite Dokumentenbild in unterschiedlichen Raumlagen erfasst werden können.
Das Erfassen der Mehrzahl von Bildern des Dokumentes kann ein Bestimmen einer jeweiligen Raumlage auf Basis eines jeweiligen Bildes umfassen. Die jeweiligen Raumlagen können mit der ersten Raumlage verglichen werden, um das erste Bild aus der Mehrzahl von Bildern auszuwählen. Die jeweiligen Raumlagen können mit der zweiten Raumlage verglichen werden, um das zweite Bild aus der Mehrzahl von Bildern auszuwählen. Die erste Raumlage und die zweite Raumlage können vorbestimmt sein.
Gemäß einer Ausführungsform umfasst das Erfassen des ersten Bildes des Dokumentes ferner ein perspektivisches Entzerren des ersten Dokumentenbildes auf Basis der ersten Raumlage, und umfasst das Erfassen des zweiten Bildes des Dokumentes ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes auf Basis der zweiten Raumlage. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
Durch das perspektivische Entzerren des ersten Dokumentenbildes kann ein rechteckförmiges erstes Dokumentenbild bereitgestellt werden. Durch das perspektivische Entzerren des zweiten Dokumentenbildes kann ein rechteckförmiges zweites Dokumentenbild bereitgestellt werden.
Das perspektivische Entzerren des ersten Dokumentenbildes kann ein Skalieren des ersten Dokumentenbildes umfassen. Das perspektivische Entzerren des zweiten Dokumentenbildes kann ein Skalieren des zweiten Dokumentenbildes umfassen.
Gemäß einer Ausführungsform umfasst das Verfahren ferner ein Bestimmen der ersten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des ersten Dokumentenbildes und/oder ein Bestimmen der zweiten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des zweiten Dokumentenbildes. Dadurch wird der Vorteil erreicht, dass die erste Raumlage und/oder die zweite Raumlage zum Auswählen des ersten Bildes und/oder des zweiten Bildes aus der Mehrzahl von Bildern verwendet werden kann. Die erste Raumlage und/oder die zweite Raumlage können ferner zum perspektivischen Entzerren des ersten Dokumentenbildes und/oder des zweiten Dokumentenbildes verwendet werden.
Das Bestimmen der ersten Raumlage und das Bestimmen der zweiten Raumlage kann ein Bestimmen einer jeweiligen Homographie umfassen.
Gemäß einer Ausführungsform wird die jeweilige Raumlage mittels einer Kantendetektion bestimmt. Dadurch wird der Vorteil erreicht, dass die jeweilige Raumlage relativ zu rechteckförmigen Dokumenten effizient bestimmt werden kann.
Die Kantendetektion kann eine Detektion von Linien, Rechtecken, Parallelogrammen oder Trapezen im ersten Dokumentenbild und/oder im zweiten Dokumentenbild umfassen. Die Kantendetektion kann unter Verwendung einer Hough-Transformation durchgeführt werden.
Gemäß einer Ausführungsform wird das jeweilige Dokumentenbild zur Rauschreduktion tiefpassgefiltert. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
Die Tiefpassfilterung kann mittels eines gefensterten Mittelwertfilters oder eines gefensterten Gaußfilters durchgeführt werden. Die Tiefpassfilterung kann ferner ein Bestimmen eines jeweiligen Integralbildes des jeweiligen Dokumentenbildes umfassen, wobei die Tiefpassfilterung unter Verwendung des jeweiligen Integralbildes durchgeführt werden kann.
Gemäß einer Ausführungsform wird das erste Dokumentenbild mit dem zweiten Dokumentenbild verglichen, um eine Ausrichtung des ersten Dokumentenbildes in Bezug zu dem zweiten Dokumentenbild zu bestimmen, wobei das erste Dokumentenbild und das zweite Dokumentenbild auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.
Das Vergleichen des ersten Dokumentenbildes mit dem zweiten Dokumentenbild kann ein Extrahieren und Vergleichen von Bildmerkmalen des ersten Dokumentenbildes und des zweiten Dokumentenbildes umfassen. Die Bildmerkmale können beispielsweise BRISK-Bildmerkmale oder SURF-Bildmerkmale sein.
Gemäß einer Ausführungsform umfasst das Bestimmen des Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild ein Bestimmen eines Unterschiedsbildes auf Basis des ersten Dokumentenbildes und des zweiten Dokumentenbildes, wobei das Unterschiedsbild einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild anzeigt. Dadurch wird der Vorteil erreicht, dass der Bildunterschied anhand des Unterschiedsbildes effizient angezeigt werden kann.
Das Unterschiedsbild kann ein Graustufenbild sein. Das Unterschiedsbild kann eine Mehrzahl von Pixeln umfassen. Das Unterschiedsbild kann ferner einem Bildstapel zugeordnet sein.
Gemäß einer Ausführungsform wird ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes bestimmt, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
Der erste Pixelwert und/oder der zweite Pixelwert können Graustufenwerte sein. Der Mittelwert kann ein arithmetischer Mittelwert oder ein Median sein. Die Abweichung kann eine quadratische Abweichung oder eine absolute Abweichung sein.
Gemäß einer Ausführungsform wird eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes bestimmt, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.
Die erste Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des ersten Dokumentenbildes anzuzeigen. Die zweite Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des zweiten Dokumentenbildes anzuzeigen.
Gemäß einer Ausführungsform zeigt die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes an, welche zur Erfassung des Bildunterschieds verwendbar sind. Dadurch wird der Vorteil erreicht, dass nur gültige Pixel des jeweiligen Dokumentenbildes zur Erfassung des Bildunterschieds verwendet werden.
Ein Pixel eines jeweiligen Dokumentenbildes kann beispielsweise ungültig sein, wenn der Pixel einem Bereich des Dokumentes zugeordnet ist, welcher unvollständig erfasst wurde.
Gemäß einer Ausführungsform wird der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert, wobei das blickwinkelabhängige Merkmal des Dokumentes auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird. Dadurch wird der Vorteil erreicht, dass Bildsegmente zur Detektion des blickwinkelabhängigen Merkmals verwendet werden können. Der Bildunterschied kann durch ein Unterschiedsbild angezeigt werden, wobei das Unterschiedsbild in die Mehrzahl von Bildsegmenten segmentiert wird.
Die Segmentierung kann mittels eines pixelorientierten Bildsegmentierungsverfahrens, eines kantenorientierten Bildsegmentierungsverfahrens, eines bereichsorientierten Bildsegmentierungsverfahrens, eines modellorientierten Bildsegmentierungsverfahrens, oder eines texturorientierten Bildsegmentierungsverfahrens durchgeführt werden. Das Bildsegmentierungsverfahren kann beispielsweise ein Maximally-Stable-Extremal-Regions (MSER) Verfahren oder ein Mean-Shift Verfahren umfassen. Die Bildsegmente können zusammenhängende Bildsegmente sein.
Gemäß einer Ausführungsform wird für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt, wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein Bildsegment, welches das vorbestimmte Bildsegmentmaß aufweist, für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.
Das Bildsegmentmaß kann eine Fläche des Bildsegmentes, ein Seitenlängenverhältnis des Bildsegmentes, eine Kompaktheit des Bildsegmentes, ein Pixelwert eines Pixels des Bildsegmentes, oder ein Homogenitätsmaß des Bildsegmentes sein.
Gemäß einer Ausführungsform ist einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zugeordnet, wobei das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein geeignetes Bildsegment für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.
Der Vergleich des ersten Dokumentenbildsegmentes mit dem zweiten Dokumentenbildsegment kann mittels einer normalisierten Kreuzkorrelation durchgeführt werden. Das Bildsegment kann beispielsweise für die Detektion des blickwinkelabhängigen Merkmals qualifiziert werden, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind.
Gemäß einer Ausführungsform umfasst das blickwinkelabhängige Merkmal ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften. Dadurch wird der Vorteil erreicht, dass das blickwinkelabhängige Merkmal mit blickwinkelabhängigen Darstellungen einfach realisiert werden kann.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein Mobilgerät zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einer Bildkamera, welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einem Prozessor, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.
Das Mobilgerät kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera kann eine digitale Bildkamera sein. Der Prozessor kann ein Computerprogramm ausführen.
Das Mobilgerät kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED-Beleuchtungseinrichtung sein.
Das Verfahren kann mittels des Mobilgerätes ausgeführt werden. Weitere Merkmale des Mobilgerätes resultieren unmittelbar aus der Funktionalität des Verfahrens.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens, wenn das Computerprogramm auf einem Computer ausgeführt wird. Dadurch wird der Vorteil erreicht, dass das Verfahren automatisiert und wiederholbar ausgeführt werden kann.
Das Computerprogramm kann in maschinen-lesbarer Form vorliegen. Der Programmcode kann eine Folge von Befehlen für einen Prozessor umfassen. Das Computerprogramm kann durch den Prozessor des Mobilgerätes ausgeführt werden.
Die Erfindung kann in Hardware und/oder Software realisiert werden.
Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
1 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
2 ein Diagramm eines Mobilgerätes zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
3 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
4 ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
5 ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform;
6 ein Oberflächendiagramm eines Unterschiedsbildes gemäß einer Ausführungsform;
7 ein Diagramm eines Unterschiedsbildes und ein Konturdiagramm eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform;
8 Konturdiagramme mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform; und
9 ein Diagramm einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.
1 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 wird unter Verwendung einer Bildkamera durchgeführt. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.
Das Verfahren 100 umfasst ein Erfassen 101 eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, ein Erfassen 103 eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und ein Erfassen 105 eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.
Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.
Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.
Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können.
Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können.
Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.
Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden.
2 zeigt ein Diagramm eines Mobilgerätes 200 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.
Das Mobilgerät 200 umfasst eine Bildkamera 201, welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einen Prozessor 203, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.
Das Mobilgerät 200 kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera 201 kann eine digitale Bildkamera sein. Der Prozessor 203 kann ein Computerprogramm ausführen. Die Bildkamera 201 kann mit dem Prozessor 203 verbunden sein.
Das Mobilgerät 200 kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED-Beleuchtungseinrichtung sein.
Das Verfahren 100 kann mittels des Mobilgerätes 200 ausgeführt werden. Weitere Merkmale des Mobilgerätes 200 resultieren unmittelbar aus der Funktionalität des Verfahrens 100.
3 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 umfasst eine Schrittfolge 301 und eine Schrittfolge 303. Die Schrittfolge 301 wird für jedes erfasste Bild durchgeführt. Die Schrittfolge 303 wird einmal pro Dokument durchgeführt.
Die Schrittfolge 301 umfasst einen Schritt 305 einer Bildauswahl, einen Schritt 307 einer Registrierung eines Bildes, und einen Schritt 309 eines räumlichen Filterns des Bildes. Eine Mehrzahl erfasster Bilder und eine Mehrzahl bestimmter Raumlagen werden durch die Schrittfolge 301 verarbeitet, um einen Bildstapel bereitzustellen.
Die Schrittfolge 303 umfasst einen Schritt 311 einer Unterschiedsbilderzeugung und einen Schritt 313 einer Segmentierung und Filterung. Der Bildstapel wird durch die Schrittfolge 303 verarbeitet, um die Lage der Merkmale bereitzustellen.
Das Diagramm zeigt folglich Schrittfolgen 301, 303, welche für eine Detektion eines blickwinkelabhängigen Merkmals, beispielsweise eines Hologramms, pro Bild und pro Dokument durchgeführt werden können, sowie eine Auswertung des Bildstapels.
Gemäß einer Ausführungsform wird eine automatische Detektion von blickwinkelabhängigen Merkmalen eines Dokumentes in Echtzeit unter Verwendung von Bildern durchgeführt, welche mittels eines Mobilgerätes, beispielsweise eines Standard-Smartphones, erfasst werden. Unter Verwendung eines robusten Algorithmus zum Erfassen des Dokumentes in den Bildern, beispielsweise durch eine Verfolgung (engl. tracking) des Dokumentes, kann ein Bildstapel mit Bildern des Dokumentes aufgebaut und ausgewertet werden, um automatisch die Lage und die Größe von blickwinkelabhängigen Merkmalen des Dokumentes zu bestimmen. Eine automatische Detektion sowohl der Existenz als auch der Lage von blickwinkelabhängigen Merkmalen auf einem Dokument kann unter Verwendung einer mobilen Augmented Reality (AR) Anordnung durchgeführt werden.
Dadurch wird eine Vielzahl von Anwendungsfeldern eröffnet, beispielsweise eine Detektion von Dokumentenlayouts für einen nachfolgenden Klassifizierungsschritt oder eine automatische Modellbildung mit Verifikation. Aufgrund der Effizienz des Ansatzes, kann diese Aufgabe in Echtzeit auf einem Mobilgerät, beispielsweise einem Standard-Smartphone, durchgeführt werden. Durch die Verwendung von Mobilgeräten und durch die Robustheit des Ansatzes können Hilfsmittel bereitgestellt werden, welche jedermann eine Verifikation der Echtheit oder Authentizität von Dokumenten, auch ohne fortgeschrittenes Training, ermöglichen.
Im Folgenden wird ein Ansatz zur Erfassung und Verfolgung des Dokumentes erläutert.
Dokumente bestehen üblicherweise aus Papier oder Pappe und weisen eine rechteckförmige Form auf. Aus Gründen der Robustheit und Effizienz, werden schwerpunktmäßig ebene Bereiche von Dokumenten betrachtet. Eine Erfassung derartiger Dokumente mit einem Mobilgerät kann eine herausfordernde Aufgabe sein aufgrund von variierenden persönlichen Daten auf dem Dokument, aufgrund von Veränderungen des Blickwinkels, aufgrund der Beleuchtung, aufgrund eines unerwarteten Nutzerverhaltens, und/oder aufgrund von Begrenzungen der Bildkamera. Folglich sollten mehrere erfasste Bilder im Hinblick auf die Robustheit ausgewertet werden, was unter Verwendung einer mobilen Augmented Reality (AR) Anordnung erreicht werden kann.
Zunächst kann eine geeignete Dokumentenvorlage (engl. document template) erzeugt werden, welche für eine Bild-zu-Bild Verfolgung oder für einen dedizierten Registrierungsschritt verwendet werden kann. Diese kann auf einem Algorithmus zur Detektion von perspektivisch verzerrten Rechtecken basieren, und in Echtzeit auf einem Mobilgerät ausgeführt werden, und somit als grundlegender Aufbaublock dienen.
Der Nutzer kann aufgefordert werden, eine Bildkamera des Mobilgerätes vor einem Dokument oder Objekt anzuordnen und die Detektion auszulösen. Innerhalb eines vorbestimmten Interessenbereiches (engl. region of interest, ROI) in einem erfassten Bild, kann ein Kantenbild, beispielsweise unter Verwendung eines Canny-Kantendetektors mit einer automatischen Schwellwertauswahl, berechnet werden. Bildbereiche mit textartigen Strukturen können gefiltert werden, um Rauschen zu entfernen, gefolgt von einer Detektion von Linien, beispielsweise unter Verwendung einer Hough-Transformation. Die detektierten Linien können gemäß ihrer groben Richtung gruppiert werden. Eine Anfangshypothese für einen rechteckförmigen Bereich kann gebildet werden durch eine Betrachtung von Paaren von Linienbündeln, welche beispielsweise insgesamt vier Linien umfassen können.
Durch Überschneidung der Linien und Gewährleistung, dass die Schnittpunkte in dem Interessenbereich liegen, kann die Anzahl der Hypothesen deutlich reduziert werden. Eine endgültige geordnete Liste von Rechteck-Hypothesen kann durch eine Berechnung einer Stützfunktion auf einem erweiterten Kantenbild erzeugt werden. Der oberste Kandidat der Liste kann ausgewählt werden und eine Homographie kann berechnet werden, um eine entzerrte Darstellung zu erzeugen. Die Dimensionen des entzerrten Bildes können durch eine Mittelwertbildung der Pixelbreite und/oder -höhe der gewählten Hypothese bestimmt werden.
Das entzerrte Bild kann zum Erzeugen einer ebenen Verfolgungsvorlage verwendet werden, welche als eine Bildpyramide zur Laufzeit dargestellt werden kann, und welche unter Verwendung natürlicher Bildmerkmale verfolgt werden kann. Ein Harris-Eckendetektor und eine normalisierte Kreuzkorrelation (engl. normalized cross correlation, NCC) können verwendet werden, um Bildbereiche über nachfolgende Bilder hinweg abzugleichen und um eine Homographie zwischen der gegenwärtigen Bild und dem entzerrten Bild oder der Verfolgungsvorlage herzustellen. Ein Bewegungsmodell kann verwendet werden, um die Bildkamerabewegung zu schätzen und zu prädizieren, und um somit Rechenressourcen einzusparen. Folglich kann der Algorithmus in Echtzeit auf Mobilgeräten, beispielsweise Standard-Smartphones, ausgeführt werden und kann eine vollständige Raumlage oder Pose mit sechs Freiheitsgraden (engl. six degrees of freedom, 6DOF) für jedes erfasste Bild bereitstellen.
Die Anordnung hat den Vorteil, dass sie eine Interaktion mit zuvor unbekannten Dokumenten mit beliebigen persönlichen Daten erlaubt. Im Zusammenhang mit den nachfolgenden Algorithmen zum maschinellen Sehen (engl. computer vision, CV), kann eine Kenntnis eines gegenwärtigen Blickwinkels vorteilhaft sein, da sie erlauben kann, mit entzerrten Bildern zu arbeiten und die Bilderfassung zu steuern.
Im Folgenden wird ein Ansatz zur Erzeugung eines Bildstapels erläutert. Um über die Existenz von blickwinkelabhängigen Merkmalen auf dem Dokument zu urteilen, sollte das Dokument von mehreren Blickwinkeln erfasst werden. Eine minimale Anzahl von n = 2 Bildern, welche aus geeigneten Blickwinkeln erfasst werden, kann verwendet werden, um auf die Existenz derartiger Merkmale zu schließen. Aus Gründen der Robustheit, sollten jedoch generell mehr Blickwinkel verwendet werden. Basierend auf den Ergebnissen der Dokumentverfolgung, umfasst der Algorithmus drei Hauptteil, um einen Bildstapel zu erzeugen: den Schritt 305 der Bildauswahl, den Schritt 307 der Entzerrung und/oder der Registrierung, und den Schritt 309 des räumlichen Filterns.
Die Bildauswahl in Schritt 305 kann folgendermaßen durchgeführt werden. Idealerweise sollte der Bildstapel eine Mehrzahl von Bildern mit Raumlagen umfassen, welche die Veränderlichkeit des blickwinkelabhängigen Merkmales auf die bestmögliche Weise nutzen. Für unerfahrene Nutzer kann diese Aufgabe herausfordernd sein. Daher sollte die Aufgabe der Bildauswahl, zugunsten der Wiederholbarkeit und einer reduzierten kognitiven Belastung, nicht durch den Nutzer durchgeführt werden. Die bestimmten Posen können verwendet werden, um Bilder automatisch auf Basis einer 2D-Orientierungskarte auszuwählen. Zudem kann die Sichtbarkeit und die Ähnlichkeit zur Vorlage berücksichtigt werden, um geeignete Bilder auszuwählen.
Die Entzerrung oder Registrierung in Schritt 307 kann folgendermaßen durchgeführt werden. Für jedes Bild, welches den Auswahlschritt passiert, kann eine geschätzte Homographie aus der Verfolgungsraumlage verwendet werden, um ein entzerrtes Bild zu erzeugen. Ein vollständiger Satz von Bildern kann somit einen Stapel aus gleichgroßen Bildern bilden. Grundsätzlich kann der Dokumentenverfolgungsalgorithmus robust sein und kann das Dokument erfolgreich über einen weiten Bereich von Blickwinkeln verfolgen. Teile des Dokumentes können sich jedoch aus dem gegenwärtigen Kamerabild herausbewegen und die Bilder können perspektivische Verzerrungen aufweisen. Die entzerrten Bilder können daher unvollständig sein und/oder nicht ideal ausgerichtet sein.
In einem zusätzlichen Schritt können eine Anpassung der Ausrichtung unter Verwendung einer Bildmerkmalsextraktion, ein gefenstertes Abgleichen und/oder eine Homographie-Schätzung durchgeführt werden. Dies kann jedoch die Bildrate reduzieren, was möglicherweise nicht wünschenswert ist. Da Bilder kontinuierlich durch die Bildkamera erfasst und bereitgestellt werden, können ungeeignete entzerrte oder registrierte Bilder unter Verwendung einer NCC-Bewertung verworfen werden, was rechnerisch effizienter sein kann. Aufgrund der Echtzeitverfolgung, kann dies einen effizienten Weg zum automatischen Auswählen von Bildern darstellen.
Das räumliche Filtern in Schritt 309 kann folgendermaßen durchgeführt werden. Jede neue Schicht, welche auf den Stapel entzerrter Bilder abgelegt wird, kann räumlich gefiltert werden, um besser mit Rauschen und verbliebenen Ungenauigkeiten bei der Registrierung umzugehen. Für diese Aufgabe kann ein gefensterter Mittelwertfilter eingesetzt werden, welcher auf einer Integralbildberechnung basieren kann. Unvollständige Bildinformationen, beispielsweise undefinierte und/oder schwarze Flächen beim Entzerren, können durch ein Erfassen gültiger Bildbereiche, welche beim Filtern verwendet werden, unter Verwendung einer zweiten Maske berücksichtigt werden. Das räumliche Filtern in Schritt 309 kann unter Verwendung einer vorbestimmten Fenstergröße, beispielsweise von 3×3 Pixeln, durchgeführt werden.
Im Folgenden wird ein Ansatz zur Detektion des blickwinkelabhängigen Merkmals erläutert. Im Gegensatz zu weiteren Effekten, wie beispielsweise Glanzlichtern, verbleiben visuelle Veränderungen, welche durch blickwinkelabhängige Merkmale verursacht werden, räumlichen konstant. Der Ansatz basiert auf dem Konzept, Veränderungen der Darstellungen über der Zeit zu verfolgen, wobei der entzerrte Bildstapel als Ausgangspunkt verwendet werden kann.
Der Algorithmus zum Verarbeiten des Bildstapels umfasst zwei Hauptteile: den Schritt 311 eines Erzeugen eines Unterschiedsbildes durch statistisch-basiertes Bewerten und den Schritt 313 eines Segmentierens und Suchens eines Modus (engl. mode) zum Erzeugen eines endgültigen Detektionsergebnisses. Zudem kann ein optionaler Verifikationsschritt durchgeführt werden, welcher NCC-Berechnungen an der geschätzten Lage des blickwinkelabhängigen Merkmals zwischen entzerrten oder registrierten Bildern des Bildstapels einsetzen kann, um falsch-positive Detektionen zu verwerfen.
Die Erzeugung des Unterschiedsbildes in Schritt 311 kann folgendermaßen durchgeführt werden. Der Bildstapel kann für jede Lage (x, y) als eine zeitliche Folge aufgefasst werden. Der Grad der Veränderung kann durch eine Berechnung eines geeigneten Abweichungsmaßes bezüglichen eines Modells m bei der Lage (x, y) über den gesamten Bildstapel bewertet werden, wobei Dokumentenbildmasken, welche in dem vorherigen Schritt bestimmt werden können, beachtet werden können. Somit kann eine Zwischendarstellung für Anzeichen von Blickwinkelabhängigkeit bereitgestellt werden, welche auch als Unterschiedsbild bezeichnet werden kann. Gemäß einer Ausführungsform ist das blickwinkelabhängige Merkmal ein Hologramm und das Unterschiedsbild eine Hologrammkarte (engl. Hologram Map).
Zum Erfassen eines Bildunterschiedes, welcher durch ein Unterschiedsbild angezeigt werden kann, kann ein Mittelwert m₀ oder ein Median m₁ in Verbindung mit einer mittleren quadratischen Abweichung im Bildraum gemäß
oder einer mittleren absoluten Abweichung gemäß
mit m ∊ {m₀, m₁} in verschiedenen Kombinationen eingesetzt werden. Dabei kann L(x, y) die Anzahl von Bildstapelschichten bezeichnen, welche gültige Pixelwerte für die Lage (x, y) entsprechend der Dokumentenbildmasken umfassen, wobei v_l(x, y) einen Pixelwert in Schicht I bezeichnen kann. Im Falle des Paares m₀, e₀ kann die Modellerzeugung und Abweichungsberechnung direkt erfolgen, und nur geringe Rechenressourcen beanspruchen.
Die Segmentierung und Filterung in Schritt 313 kann folgendermaßen durchgeführt werden. Dominante räumliche Spitzen innerhalb des Bildunterschiedes oder des Unterschiedsbildes und benachbarte Bildbereiche mit großen Veränderungen vergleichbaren Wertes oder Betrages sollen lokalisiert werden. Folglich stellt dies eine Bildsegmentierungsaufgabe dar, wobei die Wahl des Bildsegmentierungsverfahrens sowohl die Qualität als auch die Laufzeit beeinflussen kann.
Da der Inhalt des Unterschiedsbildes von der Art des Dokumentes abhängen kann, kann eine Verwendung eines globalen Schwellwertes in bestimmten Fällen nicht ausreichend sein. Dann können lokal berechnete Schwellwerte verwendet werden, welche zusätzlich unter Verwendung von globaler Information angepasst werden können. Um Laufzeit zu sparen, können Integralbilder für die Filterung verwendet werden.
Die berechneten Bereiche können dann gefiltert werden, um die Anzahl von falschpositiven Detektionen zu reduzieren. Es können Kriterien bezüglich einer minimalen Fläche, eines Seitenlängenverhältnisses, und einer Kompaktheit zusammen mit einem minimalen Pixelwert und/oder einer Homogenität für den erhaltenen Bereich verwendet werden.
Der Ablauf des Detektierens eines blickwinkelabhängigen Merkmals kann ein Detektieren des Dokumentes und ein Bewegen eines Mobilgerätes mit einer Bildkamera oder ein Bewegen des Dokumentes, und ein Erfassen von Bildern des Dokumentes und zugehöriger Raumlagen umfassen. Diese Daten können dann durch den Algorithmus verarbeitet und analysiert werden. Dabei kann eine Beleuchtungseinrichtung des Mobilgerätes eingeschaltet oder ausgeschaltet sein. Die Beleuchtungseinrichtung kann vorteilhaft sein, um alle relevanten Darstellungen des blickwinkelabhängigen Merkmals zu erfassen.
Das Erzeugen und Aktualisieren des Bildstapels kann jeweils pro Bild durchgeführt werden. Die Erzeugung und Auswertung des Unterschiedsbildes mit einem optionalen Validierungsschritt kann anschließend durchgeführt werden. Nach erfolgreicher Detektion des blickwinkelabhängigen Merkmals des Dokumentes, kann das blickwinkelabhängige Merkmal in einem Bild unter Verwendung eines umgebenden Rahmens oder einer umgebenden Box bei der entsprechenden Lage hervorgehoben werden.
Eine Echtzeitverfolgung des Dokumentes kann verwendet werden, um registrierte Bilder aus einer Mehrzahl von Blickwinkeln zu erhalten. Dabei kann lediglich das Unterschiedsbild segmentiert werden, um mögliche Bildbereiche zu erhalten, welche anschließend validiert werden können. Dadurch kann ein Verfahren realisiert werden, welches einfach in bestehende Anwendungen zur Verifikation von Dokumenten integriert werden kann.
4 zeigt ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals 402 eines Dokumentes 401 gemäß einer Ausführungsform.
Das Diagramm zeigt die Erfassung einer Mehrzahl von Bildern des Dokumentes 401 aus unterschiedlichen Raumlagen. Dabei wird ein erstes Dokumentenbild 403 in einer ersten Raumlage, ein zweites Dokumentenbild 405 in einer zweiten Raumlage, ein drittes Dokumentenbild 407 in einer dritten Raumlage, und ein N-tes Dokumentenbild 409 in einer N-ten Raumlage erfasst.
5 zeigt ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform.
Ein erstes Dokumentenbild 403 aus einer ersten Raumlage, ein zweites Dokumentenbild 405 aus einer zweiten Raumlage, ein drittes Dokumentenbild 407 aus einer dritten Raumlage, und ein N-tes Dokumentenbild 409 aus einer N-ten Raumlage sind übereinander in Form eines Bildstapels dargestellt. Das erste Dokumentenbild 403, das zweite Dokumentenbild 405, das dritte Dokumentenbild 407, und das N-te Dokumentenbild 409 sind zusammen mit jeweiligen Dokumentenbildmasken dargestellt.
Das Dokument kann verfolgt werden, wobei eine Mehrzahl von Bildern des Dokumentes aus unterschiedlichen Raumlagen erfasst werden kann. Auf Grundlage einer geschätzten Raumlage oder Homographie kann jedes Dokumentenbild entzerrt und auf den Bildstapel gelegt werden. Die erfassten Dokumentenbilder können entzerrt werden und können eine vorbestimmte Auflösung aufweisen.
6 zeigt ein Oberflächendiagramm 600 eines Unterschiedsbildes gemäß einer Ausführungsform. Das Oberflächendiagramm 600 zeigt dabei Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument.
Für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 weist das Oberflächendiagramm 600 hohe Pixelwerte auf. Unter Verwendung eines Bildsegmentierungsverfahrens kann ein Bildsegment in dem Unterschiedsbild bestimmt werden, welches diesem Bereich zugeordnet ist.
7 zeigt ein Diagramm 701 eines Unterschiedsbildes und ein Konturdiagramm 703 eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform.
Das Diagramm 701 zeigt Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument. Das Diagramm 701 entspricht dabei einem skalierten Intensitätsbild.
Das Konturdiagramm 703 zeigt ein Segmentierungsergebnis auf Basis des Unterschiedsbildes unter Verwendung eines adaptiven Schwellwertvergleichs. Ein Bildsegment für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 ist hell hervorgehoben. Das blickwinkelabhängige Merkmal des Dokumentes kann auf Basis des Bildsegmentes detektiert werden.
8 zeigt Konturdiagramme 801, 803, 805, 807 mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform. Die Mehrzahl von erfassten Bildern umfasst ein erstes Dokumentenbild 403, ein zweites Dokumentenbild 405, ein drittes Dokumentenbild 407, und ein N-tes Dokumentenbild 409.
Dem ersten Dokumentenbild 403 sind die Konturdiagramme 801 zugeordnet. Dem zweiten Dokumentenbild 405 sind die Konturdiagramme 803 zugeordnet. Dem dritten Dokumentenbild 407 sind die Konturdiagramme 805 zugeordnet. Dem N-ten Dokumentenbild 409 sind die Konturdiagramme 807 zugeordnet.
Es können verschiedene Segmentierungsverfahren, wie beispielsweise ein Maximally Stable Extremal Regions (MSER) Verfahren oder ein Mean-Shift Verfahren, eingesetzt werden. Um den Einfluss von Reflektionen auf dem Dokument zu reduzieren, kann ferner ein Glanzlichtdetektor eingesetzt werden und kann ferner ein Inpainting durchgeführt werden. Darüber hinaus kann die Mehrzahl der erfassten Bilder oder der Bildstapel weitergehender analysiert werden.
Die Konturdiagramme 801, 803, 805, 807 zeigen eine Segmentierung eines Bildstapels beispielsweise mit einer Schicht. Die Dokumentenbilder 403, 405, 407, 409 sind in der oberen Reihe dargestellt. Die mittlere Reihe zeigt Bildsegmente, welche beispielsweise mittels eines MSER Verfahrens bestimmt werden. Die untere Reihe zeigt Bildsegmente, welche beispielsweise mittels des MSER Verfahrens bestimmt werden, wobei modifizierte Bilder des Dokumentes, beispielsweise unter Verwendung einer Glanzlichtdetektion und/oder eines Inpainting, zugrunde gelegt werden.
Somit kann ein Ansatz zur automatischen Detektion eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung eines Mobilgerätes realisiert werden. Es können zuvor unbekannte Dokumente detektiert und verfolgt werden. Zudem kann automatisch die Lage eines oder mehrerer blickwinkelabhängiger Merkmale, sofern vorhanden, bestimmt werden. Die Detektion blickwinkelabhängiger Merkmale kann einen ersten Schritt zum automatisierten Testen und Verifizieren blickwinkelabhängiger Merkmale darstellen. Die blickwinkelabhängigen Merkmale können eingebettete Merkmale sein.
9 zeigt ein Diagramm 900 einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.
Das Diagramm 900 umfasst eine 2D-Orientierungskarte (engl. orientation map) zum Erfassen der Bilder des Dokumentes und/oder zum Überwachen der Erfassung der Bilder des Dokuments aus verschiedenen Blickwinkeln.
Vorbestimmte Raumlagen zum Erfassen von Bildern des Dokumentes sind dabei durch Punkte hervorgehoben. Die vorbestimmten Raumlagen können einem Azimut und einer Elevation des Dokumentes relativ zu einer Bildkamera entsprechen.
Die vorbestimmten Raumlagen können quantisiert und/oder diskretisiert definiert sein.
Im Folgenden wird das Gesamtkonzept zusammengefasst.
Blickwinkelabhängige Merkmale, wie beispielsweise Hologramme, können ihre Darstellungen je nach Blickrichtung und Beleuchtungsrichtung vorhandener Lichtquellen in der Umgebung verändern. Blickwinkelabhängige Merkmale können dabei von der Umgebung im Dokument abgegrenzt sein und/oder eine begrenzte Ausdehnung im Dokument aufweisen. Zur Detektion von blickwinkelabhängigen Merkmalen kann eine lokale Veränderung des Aussehens bezüglich des Blickwinkels herangezogen werden. Dabei sollte das Dokument aus verschiedenen Blickwinkeln aufgenommen werden. Daher kann eine Mobile Augmented Reality (AR) Anordnung zur Bilderfassung verwendet werden.
Da keine Referenzinformationen, beispielsweise der Dokumententyp, vorliegen, sollte zunächst der Bereich des Dokumentes detektiert werden. Danach kann ein Dokumentenbild oder ein entzerrtes Dokumentenbild einem Verfolgungsalgorithmus (engl. tracking) übergeben werden. Somit können in jedem einzelnen Dokumentenbild Informationen zur Raumlage zur Verfügung stehen. Unter Vernachlässigung einer Rotation um einen Sehstrahl, kann die Erfassung der Bilder mit einer Orientierungskarte gesteuert werden, welche einen Winkel zur x-Achse und zur y-Achse angeben kann. Diese kann je nach aktueller Raumlage oder Pose befüllt werden und gewährleisten, dass das Dokument aus verschiedenen Blickwinkeln betrachtet wird. Die Extraktion des Dokumentes kann dann durch eine Entzerrung mittels der bestimmten Raumlage des Verfolgers durchgeführt werden. Somit kann ein Bildstapel mit entzerrten und/oder registrierten Bildern gebildet werden.
Zur Erkennung und Abtrennung von ungeeigneten entzerrten und/oder registrierten Bildern kann zusätzlich eine Prüfung mittels einer normalisierten Kreuzkorrelation durchgeführt werden. Nach Abschluss des Erfassungsvorganges kann aus dem Bildstapel ein Modell gebildet werden (m₀, m₁). Die Abweichungen können unter Verwendung jeder Schicht des Bildstapels mittels eines Abweichungsmaßes (e₀, e₁) zu einem Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, fusioniert werden. Dieses Unterschiedsbild charakterisiert das Dokument bezüglich der Lage und Ausdehnung blickwinkelabhängiger Merkmale. Anschließend kann segmentiert werden, um eine Menge von Bildsegmenten zu erhalten. Die gefilterten und validierten Bildsegmente können das Ergebnis der Detektion darstellen.
Die Verifikation und/oder Validierung der Bildsegmente kann die Anzahl von falsch-positiv detektierten blickwinkelabhängigen Merkmalen verringern. Dabei kann ein jeweiliges Bildsegment aus jeder Schicht des Bildstapels extrahiert werden. Jedes Bildsegment oder Patch kann dann mittels einer normalisierten Kreuzkorrelation (engl. normalized cross correlation, NCC) mit den übrigen Bildsegmenten oder Patches verglichen werden und unter Verwendung eines Schwellwertes als Übereinstimmung oder Abweichung klassifiziert werden. Wenn der relative Anteil über einem Schwellwert th_validation liegt, kann angenommen werden, dass das aktuelle Bildsegment genügend visuelle Veränderungen bei einer Veränderung des Blickwinkels aufweist.
Der erläuterte Ansatz kann folgendermaßen erweitert werden. Eine detailliertere Analyse des registrierten Bildstapels kann durchgeführt werden. Zunächst können Glanzlichter, welche beispielsweise durch eine Beleuchtungseinrichtung oder eine LED-Leuchte verursacht werden, detektiert und entfernt werden. Zudem kann jede Schicht des Bildstapels einzeln segmentiert werden, beispielsweise unter Verwendung des Maximally Stable Extremal Regions (MSER) Verfahrens. Aus den erhaltenen Bildsegmenten können Folgen von Bildsegmenten extrahiert werden, welche näherungsweise örtlich konstant sein können. Jede Folge kann danach als ein einzelnes Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, betrachtet, segmentiert, gefiltert und validiert werden.
Eine Weiterentwicklung des Ansatzes wird im Folgenden beschrieben. Es kann eine Segmentierung des Unterschiedsbildes unter Verwendung einer lokalen adaptiven Schwellwertbildung mit automatischer Selektion einer geeigneten Fenstergröße zur Verbesserung der Skalierungsinvarianz eingesetzt werden. Zur Filterung von Bildsegmenten kann das ermittelte Bildsegment in der Filterung verwendet werden anstatt eines jeweiligen begrenzenden Rechtecks. Eine Charakterisierung der im vorherigen Schritt ermittelten Spitzen im Unterschiedsbild kann durch einen Vergleich mit der unmittelbaren Umgebung in dem Unterschiedsbild realisiert werden. Dadurch kann der Verifizierungs- oder Validierungsschritt unter Verwendung einer normalisierten Kreuzkorrelation (NCC) je nach Anwendung entfallen.
Es kann eine Detektion von blickwinkelabhängigen Merkmalen, beispielsweise von Hologrammen, auf unbekannten Dokumenten ohne vorhandene Referenzinformation mittels eines Mobilgerätes durchgeführt werden. Somit wird erreicht, dass eine Detektion eines blickwinkelabhängigen Merkmals auch ohne Kenntnis des Dokumententyps oder des Dokumentenlayouts durchgeführt werden kann.
Bezugszeichenliste

100: Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals
101: Erfassen eines ersten Bildes des Dokumentes
103: Erfassen eines zweiten Bildes des Dokumentes
105: Erfassen eines Bildunterschieds
200: Mobilgerät zum Detektieren eines blickwinkelabhängigen Merkmals
201: Bildkamera
203: Prozessor
301–303: Schrittfolgen
305–313: Schritte
401: Dokument
402: Blickwinkelabhängiges Merkmal
403: Erstes Dokumentenbild
405: Zweites Dokumentenbild
407: Drittes Dokumentenbild
409: N-tes Dokumentenbild
600: Oberflächendiagramm
701: Diagramm
703: Konturdiagramm
801–807: Konturdiagramme
900: Diagramm

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

A. Hartl, J. Grubert, D. Schmalstieg, und G. Reitmayr, „Mobile interactive hologram verification”, in ISMAR, Seiten 75–82, 2013 [0005]
A. Hartl, und G. Reitmayr, „Rectangular target extraction for mobile augmented reality applications”, in Proceedings of the International Conference an Pattern Recognition, Seiten 81–84, 2012 [0006]

Claims

Verfahren (100) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401) unter Verwendung einer Bildkamera (201), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit: Erfassen (101) eines ersten Bildes des Dokumentes (401) durch die Bildkamera (201) in einer ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201), um ein erstes Dokumentenbild (403) zu erhalten; Erfassen (103) eines zweiten Bildes des Dokumentes (401) durch die Bildkamera (201) in einer zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201), um ein zweites Dokumentenbild (405) zu erhalten; und Erfassen (105) eines Bildunterschieds zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405), um das blickwinkelabhängige Merkmal (402) des Dokumentes (401) zu detektieren.
Verfahren (100) nach Anspruch 1, wobei das Verfahren (100) ein Erfassen einer Mehrzahl von Bildern des Dokumentes (401) durch die Bildkamera (201) in unterschiedlichen Raumlagen des Dokumentes (401) relativ zu der Bildkamera (201) umfasst, wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst.
Verfahren (100) nach Anspruch 1 oder 2, wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des ersten Dokumentenbildes (403) auf Basis der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes (405) auf Basis der zweiten Raumlage umfasst.
Verfahren (100) nach einem der vorstehenden Ansprüche, das ferner ein Bestimmen der ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des ersten Dokumentenbildes (403) und/oder ein Bestimmen der zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des zweiten Dokumentenbildes (405) umfasst.
Verfahren (100) nach Anspruch 4, wobei die jeweilige Raumlage mittels einer Kantendetektion bestimmt wird.
Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das jeweilige Dokumentenbild (403, 405) zur Rauschreduktion tiefpassgefiltert wird.
Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das erste Dokumentenbild (403) mit dem zweiten Dokumentenbild (405) verglichen wird, um eine Ausrichtung des ersten Dokumentenbildes (403) in Bezug zu dem zweiten Dokumentenbild (405) zu bestimmen, und wobei das erste Dokumentenbild (403) und das zweite Dokumentenbild (405) auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden.
Verfahren (100) nach einem der vorstehenden Ansprüche, wobei ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes (403) und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes (405) bestimmt wird, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird.
Verfahren (100) nach einem der vorstehenden Ansprüche, wobei eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes (403) bestimmt wird, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes (405) bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird.
Verfahren (100) nach Anspruch 9, wobei die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes (403, 405) anzeigt, welche zur Erfassung (105) des Bildunterschieds verwendbar sind.
Verfahren (100) nach einem der vorstehenden Ansprüche, wobei der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert wird, und wobei das blickwinkelabhängige Merkmal (402) des Dokumentes (401) auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird.
Verfahren (100) nach Anspruch 11, wobei für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt wird, und wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals (402) zu qualifizieren.
Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das blickwinkelabhängige Merkmal (402) ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften umfasst.
Mobilgerät (200) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit: einer Bildkamera (201), welche ausgebildet ist, ein erstes Bild des Dokumentes (401) in einer ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) zu erfassen, um ein erstes Dokumentenbild (403) zu erhalten, und ein zweites Bild des Dokumentes (401) in einer zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) zu erfassen, um ein zweites Dokumentenbild (405) zu erhalten; und einem Prozessor (203), welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405) zu erfassen, um das blickwinkelabhängige Merkmal (402) des Dokumentes (401) zu detektieren.
Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens (100) nach einem der Ansprüche 1 bis 13, wenn das Computerprogramm auf einem Computer ausgeführt wird.