DE102018128706A1

DE102018128706A1 - Dynamischer Informationsschutz für Anzeigeeinrichtungen

Info

Publication number: DE102018128706A1
Application number: DE102018128706.2A
Authority: DE
Inventors: Andreas Heimrath
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2020-05-20
Also published as: WO2020099046A1; CN112867626A; US11954920B2; US20210406565A1

Abstract

Die vorliegende Offenbarung betrifft ein System zur Steuerung eines Blickschutzes für eine Anzeigeeinheit. Der Blickschutz schützt zumindest einen Teil eines von der Anzeigeeinheit angezeigten Inhaltes. Das System umfasst eine Kamera, vorzugsweise eine Stereokamera, die konfiguriert ist zum Erzeugen eines Videosignals; eine Videosignalverarbeitungseinheit, die konfiguriert ist, basierend auf dem Videosignal der Kamera, zum Bestimmen einer jeweiligen Position einer oder mehrerer Personen relativ zur Anzeigeeinheit und zum Bestimmen einer jeweiligen Blickrichtung der ein oder mehreren Personen; eine Datenbank, die konfiguriert ist zum Erzeugen einer Vorhersage für ein Verhalten jeder der ein oder mehreren Personen basierend auf von der Videosignalverarbeitungseinheit erfassten jeweiligen Position und Blickrichtung jeder der der ein oder mehreren Personen, wobei die Vorhersage eine oder mehrere vorhergesagte Blickrichtungen der jeweiligen Person beinhaltet; und eine Anzeigesteuereinheit, die konfiguriert ist zum Steuern des Blickschutzes für die Anzeigeeinheit basierend auf der Vorhersage. Weiter betrifft die vorliegende Offenbarung ein Fahrzeug mit einem erfindungsgemäßen System. Weiter betrifft die Offenbarung ein Verfahren zur Steuerung eines Blickschutzes für eine Anzeigeeinheit, wobei der Blickschutz zumindest einen Teil eines von der Anzeigeeinheit angezeigten Inhaltes schützt. Das Verfahren umfasst Erzeugen eines Videosignals; Bestimmen einer jeweiligen Position einer oder mehrerer Personen relativ zur Anzeigeeinheit basierend auf dem Videosignal; Bestimmen einer jeweiligen Blickrichtung der ein oder mehreren Personen; Erzeugen einer Vorhersage für ein Verhalten jeder der ein oder mehreren Personen basierend auf der erfassten jeweiligen Position und Blickrichtung jeder der der ein oder mehreren Personen, wobei die Vorhersage eine oder mehrere vorhergesagte Blickrichtungen der jeweiligen Person beinhaltet; und Steuern des Blickschutzes für die Anzeigeeinheit basierend auf der Vorhersage.

Description

Die Offenbarung betrifft Verfahren für und Systeme mit dynamischem Informationsschutz für Anzeigeeinrichtungen. Die Offenbarung betrifft insbesondere Verfahren für und Systeme mit dynamischem Informationsschutz für Anzeigeeinrichtungen in Fahrzeugen, insbesondere Infotainmentsysteme.
Stand der Technik
Teilautomatisiertes, automatisiertes und autonomes Fahren erlaubt Nutzern und Insassen von entsprechenden Fahrzeugen mehr und mehr Zeit anderen Tätigkeiten zu widmen, als das Fahrzeug zu führen. Dies bedeutet, dass nicht nur die Passagiere, sondern auch der Fahrer, also alle Insassen eines Fahrzeugs vermehrt solche anderen Tätigkeiten ausführen, beispielsweise unter Benutzung eines Infotainmentsystems an Bord des Fahrzeugs. Insbesondere autonomes Fahren ermöglicht neue Geschäftsmodelle, die auch den Transport von heterogenen Personengruppen ermöglichen, z.B. bei Ride-Hailing bzw. Ride-Sharing Diensten und Robotertaxis. Dabei ist die Nutzung des Infotainments nicht immer unproblematisch, da Bildschirminhalte oft persönliche Daten oder anderweitig schützenswerte Inhalte darstellen. In diesem Kontext besteht ein hoher Bedarf an Informationsschutz, insbesondere in Form eines Blickschutzes, der gewährleistet, dass unberechtigte Personen die Inhalte eines Bildschirms oder einer Anzeige nicht einsehen können, während berechtigte Personen den Bildschirm bzw. die Anzeige möglichst uneingeschränkt nutzen können.
Besonders Geschäftsreisende sind darauf bedacht, dass die Inhalte ihrer Bildschirme nicht für andere Mitreisende einsehbar sind. Deshalb besteht für Infotainmentsysteme in diesen neuen Geschäftsmodellen, und besonders deren Anzeigesysteme, eine hohe Anforderung an den Informationsschutz, was durch einen herkömmlichen Blickschutz für Bildschirme typischerweise nicht gewährleistet werden kann.
Im Stand der Technik sind Verfahren bekannt, die basierend auf Machine Learning Algorithmen und Bilderfassung (z.B. mittels Stereokameras) eine Bestimmung von Abständen von Personen von Bildschirmen und die Detektion von deren Pupillen in von den Kameras generierten Bildern bzw. Videos ermöglichen. Weiter ist ein elektrisch zuschaltbarer Blickschutz für Bildschirme bekannt und/oder statische Blickschutzfilter als Kunststoffscheibe mit Lamellen für Anzeigen, wie beispielsweise Laptop Bildschirme.
Die Druckschrift US 2010/0293502 A1 beschreibt eine Anzeigeverfahren für ein mobiles Endgerät, das ein simultanes Anzeigen mehrerer Bildschirminhalte auf einer einzigen Anzeige ermöglicht, wobei jeder der mehreren Bildschirminhalte nur aus einem vorbestimmten Betrachtungswinkel relativ zur Anzeige sichtbar ist. Der Fokus der Druckschrift liegt auf einer Vergrößerung der verfügbaren Anzeigefläche mobiler Endgeräte und auf verwandte Anwendungen, wie eingeschränkte dreidimensionale Darstellungen.
Die Druckschrift US 7,813,042 B2 beschreibt ein direktionales Display, das aus verschiedenen Richtungen betrachtet gleichzeitig unterschiedliche Bildinhalte anzeigen kann, beispielsweise zum Zweck der Autostereoskopie oder zur Bereitstellung eines Dual-View Displays, primär aus dem Grund, Kosten und Bauraum zu minimieren.
Bekannte Blickschutzeinrichtungen für Bildschirme bieten daher in der Regel nur für fest vordefinierte Bereiche (z.B. Winkel, vgl. Stand der Technik) einen Schutz der Privatsphäre. Dies schränkt die Positionierung von Anzeigen bei neuen Sitz- und Interieurkonzepten im autonomen Fahrzeug ein. Ein dynamischer Schutz bei der Änderung der Position einer anderen Person, die unerlaubter Weise auf die Anzeige blicken möchte, ist nicht möglich.
Konzepte zur Anwendung autonomen Fahrens benötigen aber genau für neue Geschäftsmodelle und Services eine bisher unbekannte Flexibilität beim Einsatz von Anzeigen. Ein weiterer nachteiliger Effekt ist, dass das Anbringen von Blickschutzfolien insbesondere im Automobilsektor leicht einen Eindruck von geringer Wertigkeit beim Nutzer bzw. Kunden auslösen kann.
Erfindungsgemäße Verfahren und Systeme ermöglichen basierend auf Machine Learning und dem Erlernen von Blickprofilen die Überwindung der vorgenannten Nachteile und erlauben neue Sitz- und Interieurkonzepte durch eine größere Flexibilität bei der Platzierung von Komponenten sowie einen verbesserten Schutz der Privatsphäre.
Insbesondere für neue Geschäftsmodelle des autonomen Fahrens ermöglicht dies nicht nur eine Verbesserung der Privatsphäre, sondern eine verbesserte Nutzung der im Fahrzeug verbrachten Zeit für alle Insassen, einschließlich Fahrer.
Offenbarung der Erfindung
Es ist eine Aufgabe der vorliegenden Offenbarung, Verfahren für und Systeme mit dynamischem Informationsschutz für Anzeigeeinrichtungen bereitzustellen, die einen oder mehrere der vorgenannten Nachteile vermeiden und/oder einen oder mehrere der beschriebenen Vorteile ermöglichen.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
In einem ersten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein System zur Steuerung eines Blickschutzes für eine Anzeigeeinheit angegeben, wobei der Blickschutz zumindest einen Teil eines von der Anzeigeeinheit angezeigten Inhaltes schützt. Das System umfasst eine Kamera, vorzugsweise eine Stereokamera, die konfiguriert ist zum Erzeugen eines Videosignals; eine Videosignalverarbeitungseinheit, die konfiguriert ist, basierend auf dem Videosignal der Kamera, zum Bestimmen einer jeweiligen Position einer oder mehrerer Personen relativ zur Anzeigeeinheit und zum Bestimmen einer jeweiligen Blickrichtung der ein oder mehreren Personen; eine Datenbank, die konfiguriert ist zum Erzeugen einer Vorhersage für ein Verhalten jeder der ein oder mehreren Personen basierend auf von der Videosignalverarbeitungseinheit erfassten jeweiligen Position und Blickrichtung jeder der der ein oder mehreren Personen, wobei die Vorhersage eine oder mehrere vorhergesagte Blickrichtungen der jeweiligen Person beinhaltet; und eine Anzeigesteuereinheit, die konfiguriert ist zum Steuern des Blickschutzes für die Anzeigeeinheit basierend auf der Vorhersage.
In einem zweiten Aspekt nach Aspekt 1 umfasst die Steuerung ein oder mehrere von: Ausblenden des zumindest einen Teils des von der Anzeigeeinheit angezeigten Inhaltes; Unkenntlichmachen des zumindest einen Teils des von der Anzeigeeinheit angezeigten Inhaltes; und Einblenden eines Hinweises in dem zumindest einem Teil des von der Anzeigeeinheit angezeigten Inhaltes; wobei sich der Teil in der erfassten oder vorhergesagten Blickrichtung einer Person befindet.
In einem dritten Aspekt nach einem der vorhergehenden Aspekte 1 oder 2 umfasst die Steuerung Zugänglichmachen zur Ansicht von zumindest einem zweiten Teil des von der Anzeigeeinheit angezeigten Inhaltes gegenüber einer zur Ansicht berechtigten Person, wobei der zweite Teil durch den von der Anzeigeeinheit angezeigten Inhalt abzüglich des zumindest einen Teils gebildet wird.
In einem vierten Aspekt nach einem der vorhergehenden Aspekte 1 bis 3 ist die Datenbank weiter konfiguriert zur Speicherung einer Vielzahl von Profilen für die ein oder mehreren Personen und dritte Personen. Ein Profil der Vielzahl von Profilen umfasst vorzugsweise ein oder mehrere von: ein oder mehrere erlernte Blickprofile, die jeweils eine Folge von erfassten Blickrichtungen der jeweiligen Person bzw. einer der dritten Personen beschreiben; ein oder mehrere basierend auf einem von der Anzeigeeinheit angezeigten Inhalt erwartete Blickprofile, die jeweils eine erwartete Folge von im Voraus ermittelten Blickrichtungen der jeweiligen Person bzw. einer der dritten Personen beschreiben; eine oder mehrere zeitliche Komponenten, die eine Häufigkeit von Richtungsänderungen im Blick einer Person oder eine Geschwindigkeit beschreiben, mit der eine Person Bildschirmbereiche erfasst; und ein oder mehrere charakteristische Blickprofile, vorzugsweise wobei ein Mittelwert eines Cluster ein Cluster von Blickprofilen repräsentiert.
In einem fünften Aspekt nach einem der vorhergehenden Aspekte 1 bis 4 ist die Videosignalverarbeitungseinheit weiter konfiguriert ist zum Empfangen des Videosignals von der Kamera und zum Bereitstellen eines Signals, das erfasste jeweilige Positionen und Blickrichtungen jeder der der ein oder mehreren Personen und/oder von dritten Personen beschreibt.
In einem sechsten Aspekt nach einem der vorhergehenden Aspekte 1 bis 5 führt die Videosignalverarbeitungseinheit das Bestimmen der jeweiligen Position einer oder mehrerer Personen relativ zur Anzeigeeinheit und das Bestimmen der jeweiligen Blickrichtung der ein oder mehreren Personen basierend auf Machine Learning durch.
In einem siebten Aspekt nach einem der vorhergehenden Aspekte 1 bis 6 die Anzeigesteuereinheit konfiguriert ist zum Empfangen der Vorhersage und zum Erzeugen von Steuersignalen für die Anzeigeeinheit.
In einem achten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Fahrzeug angegeben, das ein System gemäß Ausführungsformen der vorliegenden Offenbarung umfasst.
In einem neunten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Verfahren zur Steuerung eines Blickschutzes für eine Anzeigeeinheit angegeben, wobei der Blickschutz zumindest einen Teil eines von der Anzeigeeinheit angezeigten Inhaltes schützt. Das Verfahren umfasst: Erzeugen eines Videosignals; Bestimmen einer jeweiligen Position einer oder mehrerer Personen relativ zur Anzeigeeinheit basierend auf dem Videosignal; Bestimmen einer jeweiligen Blickrichtung der ein oder mehreren Personen; Erzeugen einer Vorhersage für ein Verhalten jeder der ein oder mehreren Personen basierend auf der erfassten jeweiligen Position und Blickrichtung jeder der der ein oder mehreren Personen, wobei die Vorhersage eine oder mehrere vorhergesagte Blickrichtungen der jeweiligen Person beinhaltet; und Steuern des Blickschutzes für die Anzeigeeinheit basierend auf der Vorhersage.
In einem zehnten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist eine Steuereinheit für ein Fahrzeug angegeben, wobei die Steuereinheit konfiguriert ist zur Ausführung des Verfahrens gemäß Ausführungsformen der vorliegenden Offenbarung.
Figurenliste
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Dabei werden im Folgenden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente dieselben Bezugszeichen verwendet.

1 zeigt eine schematische Darstellung eines Systems für Informationsschutz bei Anzeigeeinrichtungen gemäß Ausführungsformen der vorliegenden Offenbarung;
2 illustriert schematisch die Funktionsweise eines Systems für Informationsschutz bei Anzeigeeinrichtungen gemäß Ausführungsformen der vorliegenden Offenbarung; und
3 zeigt ein Flussdiagramm eines Verfahrens gemäß Ausführungsformen der vorliegenden Offenbarung.

Ausführungsformen der Offenbarung
1 zeigt eine schematische Darstellung eines Systems 100 für Informationsschutz bei Anzeigeeinrichtungen 150 gemäß Ausführungsformen der vorliegenden Offenbarung. Und 2 illustriert schematisch die Funktionsweise eines Systems 100 für Informationsschutz bei Anzeigeeinrichtungen gemäß Ausführungsformen der vorliegenden Offenbarung. Eine Kamera 110, beispielsweise eine Stereokamera, zeichnet kontinuierlich im Sichtbereich der Kamera befindliche Personen 82, 84, 86 vor der Anzeige 150 (bzw. Personen 82, 84, 86, die einen Blick auf die Anzeige 150 haben könnten) auf und liefert ein entsprechendes Videosignal 116 (z.B. Videostrom, Bild, Bilderreihe) an eine Videosignalverarbeitungseinheit 120.
Die Videosignalverarbeitungseinheit 120 implementiert ein neuronales Netz zur Gesichts- bzw. Blickerkennung und zur Ermittlung von Abständen. Die Videosignalverarbeitungseinheit 120 ist konfiguriert zur Erkennung von Nutzer bzw. zum Erlernen der Erkennung von Nutzern mittels Machine Learning. Hierbei kann eine Detektion beispielsweise unter der Verwendung von Convolutional Neural Networks (CNN) erfolgen (z.B. mit dem Ansatz Faster RCNN). Nutzer können anhand charakteristischer Merkmale erkannt werden, diese Features können mit Deskriptoren gezielt extrahiert werden oder von einem CNN direkt erlernt werden. Für das Trainieren der Erkennung des Nutzers (vgl. berechtigte Person 86) kann der Nutzer dem System einige Bilder von sich zur Verfügung stellen und/oder vor der Nutzung ein Video seines Gesichtes aus verschiedenen Ansichten aufnehmen. Dies kann eine Robustheit der Erkennung verbessern. Basierend auf dem von der Kamera 110 empfangenen Videosignals ermittelt die Videosignalverarbeitungseinheit 120 den jeweiligen Abstand von Personen 82, 84, 86 relativ zur Anzeige 150.
Das System 100 ist konfiguriert, den Blick- bzw. Informationsschutz laufend an veränderte Positionen und/oder Blickrichtungen des Nutzers 86 und der anderer Personen 82, 84 anzupassen. Dies wird basierend auf einer regelmäßigen, zyklischen oder kontinuierlichen Erfassung der Personen 82, 84, 86 durch die Kamera 110 und die Videosignalverarbeitungseinheit 120 erreicht. In manchen Ausführungsformen kann eine Erfassung bedarfsgesteuert erfolgen, beispielsweise ausgelöst durch eine Veränderung der Position oder Blickrichtung zumindest einer Person (z.B. erkennbar durch eine Veränderung im Videostrom 116 der Kamera 110).
Der Nutzer 86 ist, als berechtigte Person, beispielsweise basierend auf einer vorherigen Registrierung (z.B. mit Abbild des Gesichts und/oder basierend auf anderen ggfs. biometrischen Merkmalen) bekannt und kann so als Nutzer 86 der Anzeigeeinheit 150 erkannt werden. Hierzu steht die Videosignalverarbeitungseinheit 120 mit einer Datenbank 130 in Verbindung 126, die unter anderem konfiguriert ist, folgende Daten zu speichern: erlernte bzw. erkannte Nutzer 86, erlernte Blickprofile von Personen 82, 84. Blickprofile sind unter anderem konfiguriert, das Verhalten von Nutzern (vgl. Person 86) und Nichtnutzern (vgl. Personen 82, 84) bzgl. ihrer Blickführung zu charakterisieren. Dies ermöglicht eine Vorhersage darüber, wohin die jeweilige Person als nächstes schauen wird. Dies ermöglicht weiter eine Vorhersage darüber, ob eine Person nur auf den Bildschirm schaut (z.B. vage in die Richtung dessen) oder derart, dass die Person aktiv Inhalt wahrnehmen kann. Blickprofile können auch abhängig vom Anzeigeninhalt mit Wahrscheinlichkeiten (z.B. bedingte Wahrscheinlichkeiten) angereichert werden.
Die Videosignalverarbeitungseinheit 120 ist konfiguriert, basierend auf neuronalen Netzen, beispielsweise CNN, die Pupillen der Personen 82, 84, 86 zu erfassen und weiter basierend auf den Videosignalen der Kamera 150, den Abstand zwischen der Anzeigeeinheit 150 und den Augen der Personen 82, 84, 86, sowie den Blickwinkel zu ermitteln.
Personen 82, die Anzeigeinhalte nicht erkennen können (vgl. 2), können so aus der Verarbeitung ausgenommen werden und werden nicht weiter berücksichtigt, da deren Abstand zur Anzeigeeinheit 150 zu groß ist, um Inhalte erkennen zu können.
Der Nutzer 86 erhält prinzipiell vollen Zugriff, d.h. freien Blick, auf die gesamte Anzeige 156. Für andere Personen 84, deren Blickrichtung bekannt ist und die sich nahe genug an der Anzeigeeinheit 150 befinden, wird durch eine Anzeigesteuereinheit 140 lokal ein Blickschutz 154 aktiviert, der den Nutzer 86 nicht behindert. Der Blickschutz 154 kann beispielsweise ein lokales Abdunkeln, das Ausblenden von Inhalten, das Einblenden einer Mittelung mit der Bitte wegzuschauen, und dergleichen mehr beinhalten. Die Anzeigesteuereinheit 140 ist konfiguriert, basierend auf erkannten (dritten) Personen 82, 84 den Blickschutz für die Anzeigeeinheit 150 zu aktivieren, sobald sich eine Person 84 nahe genug an der Anzeigeeinheit befindet und deren Blick auf die Anzeigeeinheit gerichtet ist. Hierzu empfängt die Anzeigesteuereinheit 140 von der Datenbank 130 Informationen 136 zu Personen 82, 84 bzw. Nutzern 86 und Vorhersagen zum Verhalten von Personen 82, 84 und Nutzern 86 und sendet Steuerbefehle 146 an die Anzeigeeinheit 150.
Die Videosignalverarbeitungseinheit 120 kann zudem die Blickprofile anderer Personen 82, 84 erlernen, auch in Abhängigkeit vom Inhalt der Anzeigeeinheit 150 (z.B. E-Mail, Video, Webseite). Basierend darauf kann damit die Bewegung des Blickes der Person 82, 84 vorhergesagt werden. Dafür werden die Blickprofile der anderen Personen 82, 84 während eines Trainings aufgezeichnet und durch Feature-Vektoren beschrieben, die den Blickverlauf auf der Anzeigeeinheit 150 beispielsweise als Abfolge von Bildschirmbereichen beschreiben. Dabei kann als auch eine zeitliche Komponente für die Bildung der Features verwendete werden, beispielsweise, wie häufig Richtungsänderungen vollzogen oder mit welchen relativen Geschwindigkeiten zueinander Bildschirmbereiche erfasst werden. Die Vektoren werden mit unsupervised Machine Learning geclustert. Die Featurevektoren werden für das Training für viele Individuen der möglichen Arten von (unberechtigten aber irrelevanten bzw. ungefährlichen) Personen 82 und (unberechtigten und relevanten) Personen 84 erfasst. Mit unsupervised Machine Learning Algorithmen wie k-means Clustering oder BIRCH werden die Vektoren geclustert. Jedes Cluster beschreibt eine Gruppe von Nichtnutzern, beispielsweise einen nervösen Eindringling, der mitlesen möchte.
In Zukunft können andere Personen 82, 84 (d.h. Nichtnutzer, beschrieben durch Feature-Vektoren für eine bestimmte Zeitspanne) somit Blickprofilen (Clustern) zugeordnet und deren Blickbewegung vorhergesagt werden. Weiter kann ein mögliches Gefährdungspotenzial je nach Clusterzugehörigkeit abgeschätzt werden. Dies hat auch Einfluss auf die gewählten Abwehrmechanismen, die offensiv (z.B. störendes Licht, Muster, Lichteffekte, Kontraste), defensiv (z.B. unkenntlich Machen, Textmeldung) oder diskret (z.B. Ausblenden) ausfallen können. Die Vorhersage ermöglicht einen verbesserten Blickschutz und verhindert, dass der lokale Blickschutz den Nutzer behindert. Manchen Ausführungsformen liegt hierbei die Annahme zugrunde, dass das System 100 Personen 84 (d.h. Nichtnutzer) als dem Cluster „ungefährlicher Nichtnutzer“ zugehörig zuordnet und keine Einschränkung von Person 86 notwendig ist, oder der Angriff abgewehrt wird, bevor die Person 86 (d.h. der Nutzer) behindert würde.
Das System 100 kann insbesondere eine Datenbank 130 umfassen, die konfiguriert ist zur Speicherung einer Vielzahl von Profilen für eine Vielzahl von Personen 82, 84, 86 (d.h. Nichtnutzer und Nutzer) und dritte Personen, die nicht als Nutzer oder Nichtnutzer in Erscheinung treten, aber zur Bildung von Profilen herangezogen werden.
Ein Profil der Vielzahl von Profilen umfasst vorzugsweise ein oder mehrere der folgenden Angaben:

• Ein oder mehrere erlernte Blickprofile, die jeweils eine Folge von erfassten Blickrichtungen der jeweiligen Person 82, 84, 86 bzw. einer dritten Personen beschreiben.
• Ein oder mehrere basierend auf einem von der Anzeigeeinheit 150 angezeigten Inhalt 156 erwartete Blickprofile, die jeweils eine erwartete Folge von im Voraus ermittelten Blickrichtungen der jeweiligen Person (82, 84, 86) bzw. einer der dritten Personen beschreiben.
• Eine oder mehrere zeitliche Komponenten, die eine Häufigkeit von (Blick) Richtungsänderungen oder eine (relative) Geschwindigkeit beschreiben, mit der Bildschirmbereiche (zueinander oder sequenziell) erfasst werden.
• Ein oder mehrere charakteristische Blickprofile, vorzugsweise wobei ein Mittelwert eines Clusters ein Cluster von Blickprofilen repräsentiert. Hierbei kann eine Zuordnung einer bisher unbekannten Person zu einem Cluster bei der Benutzung des Systems (nach Training und Bestimmung der Cluster) für die Auswahl der Abwehrmechanismen durch den euklidischen Abstand zum charakteristischen Vektor (z.B. Mittelwert) des Clusters erfolgen.

Zusätzlich können für jedes Cluster die Eigenschaft einer Personengruppe (z.B. nervöser Spion) und/oder die beste Abwehrmaßnahme hinterlegt werden (siehe oben).
Zusätzlich zu Blickprofilen können Gesichtsausdrücke beispielsweise mittels Fotoaufnahme durch eine Kamera (z.B. neugierig, aufmerksam, müde; beschrieben durch sog. Landmarks) als Features codiert hinterlegt werden, damit diese kombinierten mit Blickprofilen eine bessere Einschätzung des Gefährdungspotenzial des Nichtnutzers zulassen. Hierbei kann das Gesicht bzw. der Gesichtsausdruck (z.B. basierend auf einem Foto) eines anhand des Blickprofils erkannten Gefährders (z.B. gefährlicher Nichtnutzer) mit einem CNN analysiert oder die mit den für Gesichtsausdrücke hinterlegten Features verglichen werden. Damit kann die Einschätzung der Personen weiter verbessert werden.
Weiter können in einer Lookup-Table auch die Wahrscheinlichkeiten für bestimmte notwendige oder empfohlene Abwehrmechanismen in Abhängigkeit von Cluster und Gesichtsausdruck hinterlegt sein und/oder zusätzliche Randbedingungen (z.B. Uhrzeit, Helligkeit) für Beurteilung der Personen berücksichtigt.
In 2 ist die Funktionsweise des Systems 100 illustriert. Der erkannte Nutzer 86 kann alle Inhalte der Anzeigeeinheit 150 sehen. Die Person 84 wird als „Gefahr“ bzw. als nicht berechtigt erkannt und kann durch einen lokal aktiven Blickschutz 154 nicht sämtliche Inhalte 156 sehen, die (allein) für den Nutzer 86 bestimmt sind. Der Nutzer 86 wird nicht beeinträchtigt. Die Person 82 wird wegen ihres Abstandes von der Anzeige, erkannt durch die Kamera 110, oder basierend auf dem erfassten bzw. vorausgesagten Blickwinkel der Person 82 nicht als Gefahr betrachtet und nicht explizit vom Blickschutz berücksichtigt.
3 zeigt ein Flussdiagramm eines Verfahrens 300 zur Steuerung eines Blickschutzes für eine Anzeigeeinheit 150 gemäß Ausführungsformen der vorliegenden Offenbarung. Der Blickschutz schützt zumindest einen Teil 154 eines von der Anzeigeeinheit 150 angezeigten Inhaltes 156. Das Verfahren 300 beginnt in Schritt 301.
In Schritt 302 wird ein Videosignal 116 erzeugt, vorzugsweise durch eine Kamera 110, weiter vorzugsweise durch eine Stereokamera, die konfiguriert ist, neben einem Videodatenstrom eine räumliche Erfassung von durch den Videostrom erfassten Objekten bereitzustellen. Die von der Kamera 110 erzeugten Daten können in einem einzigen Datenstrom kodiert und bereitgestellt werden.
In Schritt 304 wird eine jeweilige Position einer oder mehrerer Personen 82, 84, 86 relativ zur Anzeigeeinheit 150 basierend auf dem Videosignal 116 bestimmt, wie vorstehend erläutert ist. Im Wesentlichen zeitgleich oder anschließend wird in Schritt 306 eine jeweilige Blickrichtung der ein oder mehreren Personen 82, 84, 86 bestimmt, wie ebenfalls vorstehend erläutert ist.
In Schritt 308 wird eine Vorhersage 136 für ein Verhalten jeder der ein oder mehreren Personen 82, 84, 86 basierend auf der erfassten jeweiligen Position und Blickrichtung jeder der der ein oder mehreren Personen 82, 84, 86 erzeugt. Die Vorhersage 136 beinhaltet eine oder mehrere vorhergesagte Blickrichtungen der jeweiligen Person 82, 84, 86.
In Schritt 310 wird der Blickschutz für die Anzeigeeinheit 150 basierend auf der Vorhersage 136 gesteuert. Wie vorstehend beschrieben, kann das Steuern 310 ein oder mehrere offensive, defensive oder diskrete Abwehrmaßnahmen beinhalten (siehe oben).
Das Verfahren 300 wird vorzugsweise zyklisch, regelmäßig, in vorbestimmten Intervallen oder bedarfsgesteuert wiederholt. Alternativ endet das Verfahren 300 in Schritt 312.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2010/0293502 A1 [0005]
US 7813042 B2 [0006]

Claims

System (100) zur Steuerung eines Blickschutzes für eine Anzeigeeinheit (150), wobei der Blickschutz zumindest einen Teil (154) eines von der Anzeigeeinheit (150) angezeigten Inhaltes (156) schützt, das System (100) umfassend: - eine Kamera (110), vorzugsweise eine Stereokamera, die konfiguriert ist zum Erzeugen eines Videosignals (116); - eine Videosignalverarbeitungseinheit (120), die konfiguriert ist, basierend auf dem Videosignal (116) der Kamera (110), zum Bestimmen einer jeweiligen Position einer oder mehrerer Personen (82, 84, 86) relativ zur Anzeigeeinheit (150) und zum Bestimmen einer jeweiligen Blickrichtung der ein oder mehreren Personen (82, 84, 86); - eine Datenbank (130), die konfiguriert ist zum Erzeugen einer Vorhersage (136) für ein Verhalten jeder der ein oder mehreren Personen (82, 84, 86) basierend auf von der Videosignalverarbeitungseinheit (120) erfassten jeweiligen Position und Blickrichtung jeder der der ein oder mehreren Personen (82, 84, 86), wobei die Vorhersage (136) eine oder mehrere vorhergesagte Blickrichtungen der jeweiligen Person (82, 84, 86) beinhaltet; und - eine Anzeigesteuereinheit (140), die konfiguriert ist zum Steuern des Blickschutzes für die Anzeigeeinheit (150) basierend auf der Vorhersage (136).
System (100) nach dem vorhergehenden Anspruch, wobei die Steuerung ein oder mehrere der folgenden umfasst: Ausblenden des zumindest einen Teils (154) des von der Anzeigeeinheit (150) angezeigten Inhaltes (156); Unkenntlichmachen des zumindest einen Teils (154) des von der Anzeigeeinheit (150) angezeigten Inhaltes (156); und Einblenden eines Hinweises in dem zumindest einem Teil (154) des von der Anzeigeeinheit (150) angezeigten Inhaltes (156); wobei sich der Teil (154) in der erfassten oder vorhergesagten Blickrichtung einer Person (84) befindet.
System (100) nach einem der vorhergehenden Ansprüche, wobei die Steuerung (146) umfasst: Zugänglichmachen zur Ansicht von zumindest einem zweiten Teil des von der Anzeigeeinheit (150) angezeigten Inhaltes (156) gegenüber einer zur Ansicht berechtigten Person (86), wobei der zweite Teil durch den von der Anzeigeeinheit (150) angezeigten Inhalt (156) abzüglich des zumindest einen Teils (154) gebildet wird.
System (100) nach einem der vorhergehenden Ansprüche, wobei die Datenbank (130) weiter konfiguriert ist zur Speicherung einer Vielzahl von Profilen für die ein oder mehreren Personen (82, 84, 86) und dritte Personen, vorzugsweise wobei ein Profil der Vielzahl von Profilen ein oder mehrere der folgenden Angaben umfasst: ein oder mehrere erlernte Blickprofile, die jeweils eine Folge von erfassten Blickrichtungen der jeweiligen Person (82, 84, 86) bzw. einer der dritten Personen beschreiben; ein oder mehrere basierend auf einem von der Anzeigeeinheit (150) angezeigten Inhalt (156) erwartete Blickprofile, die jeweils eine erwartete Folge von im Voraus ermittelten Blickrichtungen der jeweiligen Person (82, 84, 86) bzw. einer der dritten Personen beschreiben; eine oder mehrere zeitliche Komponenten, die eine Häufigkeit von Richtungsänderungen im Blick einer Person (82, 84) oder eine Geschwindigkeit beschreiben, mit der eine Person (82, 84) Bildschirmbereiche erfasst; und ein oder mehrere charakteristische Blickprofile, vorzugsweise wobei ein Mittelwert eines Cluster ein Cluster von Blickprofilen repräsentiert.
System (100) nach einem der vorhergehenden Ansprüche, wobei die Videosignalverarbeitungseinheit (120) weiter konfiguriert ist zum Empfangen des Videosignals (116) von der Kamera (110) und zum Bereitstellen eines Signals (126), das erfasste jeweilige Positionen und Blickrichtungen jeder der der ein oder mehreren Personen (82, 84, 86) und/oder von dritten Personen beschreibt.
System (100) nach einem der vorhergehenden Ansprüche, wobei die Videosignalverarbeitungseinheit (120) das Bestimmen der jeweiligen Position einer oder mehrerer Personen (82, 84, 86) relativ zur Anzeigeeinheit (150) und das Bestimmen der jeweiligen Blickrichtung der ein oder mehreren Personen (82, 84, 86) basierend auf Machine Learning durchführt.
System (100) nach einem der vorhergehenden Ansprüche, wobei die Anzeigesteuereinheit (140) konfiguriert ist zum Empfangen der Vorhersage (136) und zum Erzeugen von Steuersignalen (146) für die Anzeigeeinheit (150).
Fahrzeug, umfassend ein System (100) nach einem der vorhergehenden Ansprüche.
Verfahren (300) zur Steuerung eines Blickschutzes für eine Anzeigeeinheit (150), der Blickschutz zumindest einen Teil (154) eines von der Anzeigeeinheit (150) angezeigten Inhaltes (156) schützend, das Verfahren (300) umfassend: Erzeugen (302) eines Videosignals (116); Bestimmen (304) einer jeweiligen Position einer oder mehrerer Personen (82, 84, 86) relativ zur Anzeigeeinheit (150) basierend auf dem Videosignal (116); Bestimmen (306) einer jeweiligen Blickrichtung der ein oder mehreren Personen (82, 84, 86); Erzeugen (308) einer Vorhersage (136) für ein Verhalten jeder der ein oder mehreren Personen (82, 84, 86) basierend auf der erfassten jeweiligen Position und Blickrichtung jeder der der ein oder mehreren Personen (82, 84, 86), wobei die Vorhersage (136) eine oder mehrere vorhergesagte Blickrichtungen der jeweiligen Person (82, 84, 86) beinhaltet; und Steuern (310) des Blickschutzes für die Anzeigeeinheit (150) basierend auf der Vorhersage (136).
Steuereinheit für ein Fahrzeug, wobei die Steuereinheit konfiguriert ist zur Ausführung des Verfahrens (300) nach Anspruch 9.