-
Die Erfindung geht aus von einem Verfahren zum Erkennen einer unerlaubten Einsichtnahme einer Person auf eine elektronische Anzeigevorrichtung einer insbesondere mobilen Vorrichtung, einer Steuereinheit zur Durchführung des Verfahrens sowie einer Vorrichtung zum Erkennen einer unerlaubten Einsichtnahme einer Person auf die Anzeigevorrichtung nach Gattung der unabhängigen Ansprüche. Die Erfindung betrifft auch ein entsprechendes Computerprogramm sowie ein Speichermedium.
-
Stand der Technik
-
Um den auf einem Notebook-Display dargestellten Inhalt vor neugierigen oder unerlaubten Blicken Dritter zu schützen, kann das Display mit einer Sichtschutzfolie abgeklebt werden. Hierdurch wird die Abstrahlcharakteristik des Displays derart eingeschränkt, dass nur solche, in der Regel befugte Personen, die im Wesentlichen frontal auf das Display blicken, den Inhalt des Displays erkennen können.
-
Die
DE 10 2014 226 185 A1 offenbart ein Verfahren zum Bestimmen einer Blickrichtung einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug, wobei eine Oberflächenkontur einer Oberfläche eines Auges der Person erfasst wird, ein Normalenvektor auf der Oberfläche des Auges abhängig von der erfassten Oberflächenkontur ermittelt wird und die Blickrichtung der Person abhängig von dem Normalenvektor bestimmt wird.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen einer unerlaubten Einsichtnahme einer Person auf eine elektronische Anzeigevorrichtung einer insbesondere mobilen Vorrichtung vorgestellt. Das Verfahren kann vorteilhafter Weise in einer Steuereinheit, die eine Auswerteeinheit und eine Speichereinheit aufweisen kann, durchgeführt werden. Das Verfahren weist einen Schritt des Empfangens einer ein Gesicht wenigstens einer Person repräsentierenden ersten Kenngröße von einer Erfassungseinheit auf. Mit anderen Worten wird hierbei ein Bild aus der Umgebung der Anzeigevorrichtung aufgenommen und dieses Bild daraufhin geprüft, ob ein Gesicht darauf zu erkennen ist.
-
In einem Vergleichsschritt wird die erste Kenngröße mit wenigstens einer das Gesicht wenigstens einer autorisierten Person repräsentierenden ersten Soll-Kenngröße verglichen. Mit anderen Worten wird hierbei geprüft, ob das erkannte Gesicht mit einem vorab bestimmten, einem Besitzer der Vorrichtung zugeordneten und/oder beispielsweise in einer Datenbank hinterlegten Gesicht übereinstimmt.
-
Falls dieser Vergleich keine Übereinstimmung ergibt, erfolgt ein Empfangen wenigstens einer eine Blickrichtung der wenigstens einen Person repräsentierenden zweiten Kenngröße von der Erfassungseinheit. Mit anderen Worten werden hierbei die Blickrichtungen aller erfassten Gesichter erfasst, welche nicht mit dem vorab bestimmten, dem Besitzer der Vorrichtung zugeordneten und/oder beispielsweise in der Datenbank hinterlegten Gesicht übereinstimmt.
-
Daraufhin wird die zweite Kenngröße mit wenigstens einer wenigstens eine mögliche, auf die Vorrichtung zeigende Blickrichtung der Person repräsentierenden zweiten Soll-Kenngröße verglichen. Mit anderen Worten wird hierbei geprüft, ob die Personen, deren Gesichter als nicht übereinstimmend mit dem vorab bestimmten, dem Besitzer der Vorrichtung zugeordneten und/oder beispielsweise in der Datenbank hinterlegten Gesicht erkannt wurden, auf die Anzeigevorrichtung blicken. Abhängig von dem vorherigen Vergleich erfolgt ein Erzeugen eines Ansteuersignals.
-
Unter einer elektronischen Anzeigevorrichtung kann eine elektronisch angesteuerte Anzeige (englisch: Display oder Screen), wie beispielsweise ein insbesondere berührungssensitiver Bildschirm verstanden werden. Unter einer Vorrichtung kann ein stationärer Personal Computer (PC), optional mit integrierter Anzeige verstanden werden. Unter einer mobilen Vorrichtung kann beispielsweise ein Laptop, ein Notebook, ein Tablet-PC, ein Smartphone oder eine Smartwatch verstanden werden.
-
Unter einer Erfassungseinheit kann eine optische Erfassungseinheit, insbesondere eine Kamera oder eine Stereokamera, verstanden werden, die dazu eingerichtet ist, ein Gesicht einer Person zu erkennen und/oder zu identifizieren. Insbesondere kann die Erfassungseinheit eingerichtet sein, eine Blickrichtung der Person zu erfassen und zu erkennen. Eine solche Blickrichtungserfassungseinheit kann beispielsweise eine Time-of-Flight-Kamera (ToF-Kamera) oder eine Infrarot-Kamera (IR-Kamera) aufweisen, die optional mit einem IR-Sender ausgestattet ist. Mittels einer Blickrichtungserfassungseinheit kann neben der Erfassung der Blickrichtung (englisch: gaze detection) auch eine Verfolgung und/oder Aufzeichnung der Blickrichtung (englisch: gaze bzw. eye tracking) ermöglicht werden.
-
Bei der zuvor genannten Kamera bzw. Stereokamera kann es sich um eine bereits in einen Bildschirm eines Laptops, Notebooks, Tablet-PCs oder Smartphones integrierte Kamera handeln.
-
Vorteile der Erfindung
-
Durch dieses Verfahren kann in zuverlässig erkannt werden, ob eine unbefugte Person auf die Anzeigevorrichtung blickt. Somit können frühzeitig Maßnahmen eingeleitet werden, um eine nicht autorisierte Einsichtnahme auf die Anzeigevorrichtung zu unterbinden.
-
Optional können Aufnahmen der Gesichter der Personen, welche unerlaubt auf die Anzeigevorrichtung blicken, gespeichert werden, um gegebenenfalls später nachvollziehen zu können, welche Personen zu welchen Zeitpunkten potentiellen Zugriff auf auf der Anzeigevorrichtung dargestellte Informationen hatte. Indem ein zeitlicher Verlauf der dargestellten Informationen mitgespeichert wird, lässt sich nachfolgend eine Genauigkeit der Zuordnung von dargestellter Information zu einer Person mit potentiellem Zugriff auf die Information erhöhen. Alternativ oder zusätzlich kann ein ortsaufgelöster Verlauf der dargestellten Informationen mitgespeichert werden. Somit kann insbesondere bei mobilen Vorrichtungen die Genauigkeit der zuvor genannten Zuordnung erhöht werden. Diese Zuordnung kann bei einem Datendiebstahl, bei welchem Informationen visuell von der Anzeigevorrichtung abgegriffen wurden, eine Fahndung nach den verdächtigen Personen erleichtern.
-
Weitere Vorteile ergeben sich aus den Unteransprüchen
-
In einer bevorzugten Ausführungsform ist vorgesehen, dass das Ansteuersignal dann erzeugt wird, wenn ein Unterschied zwischen der zweiten Kenngröße und der wenigstens einen zweiten Soll-Kenngröße weniger als ein vorgegebener Wert beträgt. Mit anderen Worten wird hierbei das Ansteuersignal schon dann erzeugt, wenn sich die Blickrichtung der Person und eine Richtung von den Augen der Person auf die Anzeigevorrichtung um einen bestimmten, vorgebbaren Wert unterscheidet. Der vorgebbare, bzw. vorgegebene Wert kann z.B. kleiner oder gleich 15°, bevorzugt kleiner oder gleich 10°, besonders bevorzugt kleiner oder gleich 5° und ganz besonders bevorzugt kleiner oder gleich 1° betragen. Hierdurch kann noch früher eine potentiell unerlaubte Einsichtnahme detektiert werden.
-
In einer weiteren bevorzugten Ausführungsform ist vorgesehen, dass durch das Ansteuersignal die Anzeigevorrichtung verdunkelt und/oder deaktiviert wird. Hierdurch kann effektiv verhindert werden, dass unbefugte Personen Einsicht auf den dargestellten Inhalt der Anzeigevorrichtung nehmen können.
-
Weiterhin kann vorgesehen sein, dass durch das Ansteuersignal ein akustischer, haptischer und/oder optischer Alarm insbesondere an der Anzeigevorrichtung ausgegeben wird. Hierdurch kann der Nutzer oder der Besitzer der Vorrichtung vorteilhafterweise über die unerlaubte Einsichtnahme eines Dritten bzw. dritter Personen informiert werden und somit Gegenmaßnahmen ergreifen.
-
In einer weiteren bevorzugten Ausführungsform ist vorgesehen, dass durch das Ansteuersignal der akustische, haptische und/oder optische Alarm an einer weiteren, mobilen Vorrichtung, vorzugsweise an einem Smartphone und/oder an einer Smartwatch, ausgegeben wird. Hierdurch kann der Nutzer oder der Besitzer der Vorrichtung über die unerlaubte Einsichtnahme informiert werden, ohne dass die unbefugte Person dies registriert. Hierdurch kann der autorisierte Nutzer unbemerkt Aufnahmen des Gesichts der unbefugten Person machen und/oder verschafft sich einen zeitlichen Vorteil zur Einleitung geeigneter Gegenmaßnahmen. Hierunter können beispielsweise das Einblenden von irrelevanten Informationen oder gezielt platzierten Informationen verstanden werden. Hierdurch wird der Blick der unbefugten Person möglichst lange auf der Anzeigevorrichtung gehalten und somit eine hochaufgelöste Aufnahme des Gesichts zu ermöglichen.
-
Die zuvor genannten Vorteile gelten in entsprechender Weise auch für eine Steuereinheit zur Durchführung des Verfahrens.
-
Hierbei kann das Verfahren beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware in der Steuereinheit implementiert sein. Hierzu kann die Steuereinheit zumindest eine Auswerteeinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einer Erfassungseinheit oder einem Aktor zum Einlesen von Sensorsignalen bzw. Kenngrößen von der Erfassungseinheit oder zum Ausgeben von Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in einem Kommunikationsprotokoll eingebettet sind. Die Auswerteeinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flashspeicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, das auf einer maschinenlesbaren, insbesondere nicht flüchtigen Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung nach einer der vorstehend beschriebenen Ausführungsformen ausgeführt wird.
-
Die zuvor genannten Vorteile gelten in entsprechender Weise auch für eine Vorrichtung mit einer Anzeigevorrichtung zum Erkennen einer unerlaubten Einsichtnahme einer Person auf die Anzeigevorrichtung mit wenigstens einer Erfassungseinheit zur Erfassung eines Gesichts und/oder einer Blickrichtung der Person und einer Steuereinheit gemäß der zuvor beschriebenen Ausführungsform. Hierbei kann die Steuereinheit in einer ersten Ausführungsform an der Vorrichtung angeordnet oder in der Vorrichtung integriert sein. Insbesondere kann die Steuereinheit als ein Teil einer übergeordneten Steuereinheit der Vorrichtung ausgebildet sein. Hierdurch kann Bauraum an der Vorrichtung eingespart werden.
-
In einer alternativen Ausführungsform kann vorgesehen sein, dass die Steuereinheit an der weiteren, mobilen Vorrichtung, vorzugsweise an dem Smartphone und/oder an der Smartwatch, angeordnet oder in dieser integriert ist und über eine kabellose Kommunikationsschnittstelle mit der Vorrichtung signaltechnisch verbunden ist.
-
In einer weiteren Ausführungsform kann vorgesehen sein, dass die Erfassungseinheit als Kamera bzw. Stereokamera ausgebildet ist und in der Anzeigevorrichtung der Vorrichtung, vorzugsweise in einem Bildschirm eines Laptops, Notebooks, Tablet-PCs oder Smartphones integriert ist.
-
Kurze Beschreibung der Zeichnung
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen schematisch dargestellt und in der nachfolgenden Beschreibung näher erläutert. Für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente werden gleiche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird.
-
Es zeigen:
- 1 eine schematische Darstellung einer Vorrichtung mit einer Steuereinheit, die eingerichtet ist, ein Verfahren zum Erkennen der unerlaubten Einsichtnahme der Person auf die elektronische Anzeigevorrichtung auszuführen gemäß einem Ausführungsbeispiel; sowie
- 2 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer unerlaubten Einsichtnahme einer Person auf eine elektronische Anzeigevorrichtung gemäß einem Ausführungsbeispiel.
-
Wie bereits vorstehend ausgeführt, wird mit der vorliegenden Erfindung ein Verfahren, eine Steuereinheit und eine Vorrichtung beschrieben, die es ermöglicht, eine unerlaubte Einsichtnahme einer Person auf eine elektronische Anzeigevorrichtung einer insbesondere mobilen Vorrichtung zu erkennen und somit der unerlaubten Einsichtnahme zielgerichtet zu begegnen oder ihr vorzu beugen.
-
Zur Durchführung des Verfahrens ist eine Steuereinheit 10 vorgesehen, wie sie in 1 schematisch dargestellt ist. Die Steuereinheit ist gemäß dieser Ausführungsform in der Vorrichtung 1 integriert, bzw. an der Vorrichtung 1 angeordnet. Diese Steuereinheit 10 empfängt über eine Eingangsschnittstelle 13 wenigstens eine, durch eine als Kamera 14a ausgebildete Erfassungseinheit 14 erfasste, eine ein Gesicht wenigstens einer Person repräsentierende erste Kenngröße K1. Die Kenngröße K1 kann beispielsweise eine biometrische Information oder einen Datensatz biometrischer Informationen enthalten. Beispielsweise kann die biometrische Information oder der Datensatz biometrischer Informationen eine Information über die geometrische Anordnung und die Textureigenschaften der sichtbaren Merkmale im Bereich des Gesichts der Person enthalten.
-
Die empfangene erste Kenngröße K1 kann bedarfsweise in einer Speichereinheit 12 der Steuereinheit 10 abgespeichert werden.
-
Ausgehend von der empfangenen ersten Kenngröße K1 führt eine Auswerteeinheit 11 in der Steuereinheit 10 einen Vergleich durch, bei welchem die erste Kenngröße K1 mit einer ersten Soll-Kenngröße verglichen wird, um festzustellen, ob das Gesicht der Person dem Gesicht einer zur Nutzung der Vorrichtung 1 autorisierten Person entspricht. Die erste Soll-Kenngröße kann hierzu die biometrische Information oder den Datensatz biometrischer Informationen enthalten, die der autorisierten Person zugeordnet sind. Dieser Abgleich kann mittels Computer Vision- und/oder Deep Learning-Verfahren durchgeführt werden. Künstliche neuronale Netze können hierbei so trainiert werden, dass sie Gesichter robust erkennen.
-
Wurde in dem vorherigen Vergleich keine Übereinstimmung zwischen der ersten Kenngröße K1 und der ersten Soll-Kenngröße festgestellt, d.h. es wurde ein Gesicht einer unbefugten Person erkannt, so empfängt die Steuereinheit 10 über die Eingangsschnittstelle 13 wenigstens eine, durch die Kamera 14a erfasste, eine Blickrichtung der wenigstens einen Person repräsentierende zweite Kenngröße K2.
-
Die empfangene zweite Kenngröße K2 kann bedarfsweise in der Speichereinheit 12 der Steuereinheit 10 abgespeichert werden.
-
Ausgehend von der empfangenen zweiten Kenngröße K2 führt die Auswerteeinheit 11 in der Steuereinheit 10 einen weiteren Vergleich durch, bei welchem die zweite Kenngröße K2 mit einer zweiten Soll-Kenngröße verglichen wird, um festzustellen, ob die Blickrichtung der wenigstens einen Person auf die Vorrichtung 1, insbesondere auf eine Anzeigevorrichtung 17, zeigt. Die zweite Soll-Kenngröße kann hierzu alle möglichen Richtungen bzw. Vektoren enthalten, die auf die Vorrichtung 1 und bevorzugt auf die Anzeigevorrichtung 17 zeigen. Auch dieser Abgleich kann mit Hilfe von Computer Vision- und/oder Deep Learning-Verfahren durchgeführt werden. Das zur Gesichtserkennung trainierte, künstliche neuronale Netz kann weiter trainiert werden, sodass es auch die Blickrichtungen der erkannten Gesichter zuverlässig und schnell erkennen kann.
-
Sobald erkannt wird, dass eine unbefugt Person auf die Vorrichtung 1 oder die Anzeigevorrichtung 17 blickt, erzeugt die Auswerteeinheit 11 ein Ausgabesignal AS1, welches über eine Ausgangsschnittstelle 16 ausgegeben wird, um die Anzeigevorrichtung 17 zu dimmen, zu verdunkeln und/oder zu deaktivieren.
-
Zusätzlich oder alternativ kann vorgesehen sein, dass die Auswerteeinheit 11 ein Ausgabesignal AS2 erzeugt, welches über die Ausgangsschnittstelle 16 an eine Signalleuchte 18 an die autorisierte Person ausgegeben wird, um diese über die unerlaubte Einsichtnahme einer unbefugten Person auf die Vorrichtung 1 oder die Anzeigevorrichtung 17 zu warnen. In einer weiteren Ausführungsform kann vorgesehen sein, dass die Warnung zusätzlich oder alternativ über einen akustischen und/oder haptischen Signalgeber ausgegeben wird. Die Signalleuchte 18, der akustische und/oder der haptische Signalgeber können hierbei an einer weiteren, von der Vorrichtung 1 räumlich getrennten, insbesondere mobilen Vorrichtung angeordnet sein.
-
In 2 wird ein Ablaufdiagramm des Verfahrens 100 zum Erkennen einer unerlaubten Einsichtnahme einer Person auf eine elektronische Anzeigevorrichtung (17) einer insbesondere mobilen Vorrichtung 1 gemäß einem bevorzugten Ausführungsbeispiel dargestellt. Eine das Verfahren 100 durchführende Steuereinheit 10 kann insbesondere an der Vorrichtung 1 angeordnet sein. In einem Initialisierungsschritt 101 wird zunächst die Steuereinheit 10 initialisiert. In einem weiteren Schritt 102 empfängt die Steuereinheit 10 über die Eingangsschnittstelle 13 wenigstens eine, durch eine als Kamera 14a ausgebildete Erfassungseinheit 14 erfasste, eine ein Gesicht wenigstens einer Person repräsentierende erste Kenngröße K1.
-
In einem weiteren Schritt 103 wird geprüft, ob die erste Kenngröße K1 mit wenigstens einer das Gesicht wenigstens einer autorisierten Person repräsentierenden ersten Soll-Kenngröße übereinstimmt. Fällt der Schritt 103 positiv aus, so wiederholt sich der Schritt 102 des Empfangens der ersten Kenngröße K1.
-
Fällt der Prüfschritt 103 negativ aus, so empfängt in einem nachfolgenden Schritt 104 die Steuereinheit 10 wenigstens eine weitere, durch die Kamera 14a erfasste, eine Blickrichtung der wenigstens einen Person repräsentierende zweite Kenngröße K2.
-
In einem nachfolgenden Vergleichsschritt 105 wird geprüft, ob die zweite Kenngröße K2 mit wenigstens einer wenigstens eine mögliche, auf die Vorrichtung zeigende Blickrichtung der Person repräsentierende zweiten Soll-Kenngröße übereinstimmt. Mit anderen Worten wird überprüft, ob die Personen, deren Gesichter als nicht übereinstimmend mit dem Gesicht des autorisierten Nutzers erkannt wurden, auf die Vorrichtung 1 oder die Anzeigevorrichtung 17 blicken.
-
Fällt der Schritt 105 positiv aus, d.h. die zweite Kenngröße K2 stimmt wenigstens innerhalb eines zuvor festlegbaren Toleranzbereichs mit der zweiten Soll-Kenngröße überein, so wird in einem weiteren Schritt 106 durch die Steuereinheit 10 wenigstens ein Ausgabesignal AS1 erzeugt, beispielsweise um die Anzeigevorrichtung 17 zu dimmen, zu verdunkeln und/oder zu deaktivieren. Alternativ oder zusätzlich kann ein weiteres Ausgabesignal AS2 erzeugt werden, um einen optischen Signalgeber, einen akustischen Signalgeber und/oder einen haptischen Signalgeber einen Alarm an die autorisierte Person auszugeben. Hierbei kann das weitere Ausgabesignal AS2 über eine optische Signalleuchte 18, einen akustischen Signalgeber und/oder einen haptischen Signalgeber einen Alarm an die autorisierte Person ausgeben. Vorzugsweise kann vorgesehen sein, dass der optische Signalgeber, der akustische Signalgeber und/oder der haptische Signalgeber außerhalb der Vorrichtung 1 angeordnet ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014226185 A1 [0003]
