CN106462226B - 操作用户设备的显示器的方法和用户设备 - Google Patents

操作用户设备的显示器的方法和用户设备 Download PDF

Info

Publication number
CN106462226B
CN106462226B CN201480078479.9A CN201480078479A CN106462226B CN 106462226 B CN106462226 B CN 106462226B CN 201480078479 A CN201480078479 A CN 201480078479A CN 106462226 B CN106462226 B CN 106462226B
Authority
CN
China
Prior art keywords
people
display
user equipment
image
license
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480078479.9A
Other languages
English (en)
Other versions
CN106462226A (zh
Inventor
O·索恩
P-A·阿龙松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106462226A publication Critical patent/CN106462226A/zh
Application granted granted Critical
Publication of CN106462226B publication Critical patent/CN106462226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G06F21/645—Protecting data integrity, e.g. using checksums, certificates or signatures using a third party
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032—Protect output to user by software means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Technology Law (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作用户设备的显示器的方法和用户设备。操作用户设备的显示器。本发明涉及一种用于操作用户设备(1)的显示器(2)的方法。显示器(2)被构造为显示对象(50)。将许可分配给对象(50)，该许可定义人(11‑13)查看对象(50)的允许。根据该方法，确定注视显示器(2)的人(12)的凝视位置(63)，该凝视位置(63)定义人(12)正在注视的显示器(2)上的位置。确定凝视位置(63)与对象(50)的位置之间的距离，并且此外，基于分配给对象(50)的许可确定是否允许人(12)查看该对象。如果不允许人(12)查看该对象(50)，则根据所确定的凝视位置(63)与对象(50)的位置之间的距离隐藏对象(50)。

Description

操作用户设备的显示器的方法和用户设备
技术领域
本发明涉及一种用于操作用户设备的显示器的方法，特别涉及一种用于避免不具有注视将被显示在显示器上的特定对象的许可的用户看到对象的方法。本发明此外涉及一种实现该方法的用户设备。
背景技术
我们日常生活的越来越多的信息被数字地存储并且变得更容易与其他人共享。例如，图像和视频可以被存储在用户设备(例如，平板PC、台式PC、移动电话，特别是起居室中的智能电话或媒体中心)上，并且可用于在平板PC或台式PC的显示器上或在电视平面屏幕上查看。在这种情况下，使得多个人能够观看所存储的信息。这同样可以发生在办公环境中的平面屏幕合作式表面的情况下。可能存在一些共享的信息，但是也可能存在不共享的其它信息。这可以在例如具有客户或供应商的社会环境或工作环境中。
例如，一些人坐在信息的所有者和合作者都在注视的合作式表面(collaborativesurface)前面或周围。合作式表面可以包括例如布置在桌子上或墙壁处的平板PC的显示器或平面屏幕。信息的所有者想要共享图片，但是想要避免浏览全部图片，全部图片可能包括旅行或聚会的私人图片。与传统方法(像搜索相框或相册中的照片，其中，更容易跳过或遮蔽不应该共享的部分)相比，利用当前用户界面，这变得困难。
因此，需要改进的显示方法。
发明内容
根据本发明，该目的通过权利要求1中限定的用于操作用户设备的显示器的方法和在权利要求13中限定的用户设备来实现。从属权利要求限定本发明的优选且有利实施方式。
根据本发明的一方面，提供了一种用于操作用户设备的显示器的方法。用户设备的显示器被构造为显示对象(例如，图像或视频或图像或视频的缩略图)，并且将许可分配给对象。许可定义人查看对象的允许。例如，许可可以定义与单个人或多组人相关的多个用户标识符。根据该方法，确定注视显示器的人的凝视位置。凝视位置定义人当前注视的显示器上的位置。此外，确定凝视位置与对象的位置之间的距离。基于分配给对象的许可，确定是否允许人查看对象。如果不允许人查看对象，则根据所确定的凝视位置与对象的位置之间的距离隐藏对象。换言之，如果不允许人查看对象，则当人正在注视对象的位置或对象附近的位置时，可以自动地隐藏对象。由此，可以保证对象(像照片或视频)的隐私。
根据一个实施方式，基于人的凝视位置和预定义锐视视角(sharp visionviewingangle)确定凝视区域半径。对于人类，锐视视角通常仅为几度(特别是为大约两度)，并且在较大区域上的锐视的体验由大脑来模拟。由此，仅可以当人正在直接注视对象时或当对象至少在由锐视视角覆盖的区域内时，由人获得对象的锐视。当凝视位置与对象的位置之间的距离小于凝视区域半径时，隐藏对象。因此，仅当不被允许查看对象的人实际上具有注视对象的能力时隐藏对象。在不被允许查看对象的人仅在外围注视对象的情况下，不需要隐藏对象，因为在这种情况下，人不能获得对象的锐视。这使得被允许查看对象的人在大多数时间具有不隐藏的对象。
根据一个实施方式，为了隐藏对象，可以使对象模糊。模糊的程度可以是凝视位置与对象的位置之间的距离的单调函数。当距离变小时，模糊的程度增加。对象的该逐渐模糊允许更有效地使用显示表面的有限区域，同时还给予不被允许注视对象的人的凝视变得更接近对象的精细指示。对象可以被完全模糊或仅部分模糊。另外地或作为另选方案，为了隐藏对象，可以从显示器去除对象。此外，作为另选方案，可以至少部分地遮盖对象。另外，可以在显示器上显示输出，例如部分地或完全地覆盖对象，该输出指示不具有查看对象的许可的人的凝视位置正接近对象。
根据一个实施方式，为了确定注视显示器的人的凝视位置，确定注视显示器的人的视觉中心，并且将处于视觉中心的显示器的位置确定为凝视位置。例如，可以捕获人的眼睛的图像。该图像可以包括从人的眼睛的角膜反射的光(角膜反射)。然后，可以确定该图像中的眼睛的瞳孔的中心位置，并且基于瞳孔的中心，可以确定注视显示器的人的凝视位置。
根据一个实施方式，为了确定是否允许人查看对象，捕获人的虹膜的图像，并且基于虹膜的图像确定针对人的识别信息。基于分配给对象的许可和针对人的识别信息，确定是否允许人查看对象。使用虹膜识别是用于识别人的非常安全的方法。虹膜图案随着时间的过去是稳定的，并且对于每一个人(包括双胞胎)是唯一的，并且甚至对于同一个人的每只眼睛是唯一的。关于确定凝视位置，必须以任何方式捕获人的眼睛，虹膜识别可以通过低额外努力来执行。
根据一个实施方式，可以用预定光谱的光照射人的眼睛。预定光谱可以包括例如红外光。通过使用红外光，可以在用户不注意眼睛的照射的情况下提供用于确定凝视位置和虹膜图像的眼睛的充足照射。
根据又一实施方式，为了捕获人的虹膜的图像，随后从多个不同方向照射人的眼睛。在从多个不同方向照射人的眼睛的同时，随后捕获人的虹膜的多个图像。例如，随后从九个不同方向(例如，从九个不同布置的光源)照射人的眼睛，并且对于每一个照射方向，捕获虹膜的对应图像。通过组合所捕获的多个图像确定虹膜的图像。当使用例如红外光源(例如，红外发光二极管(LED))时，可能在角膜中产生反射。这种反射可以覆盖或遮盖虹膜中的细节，由此使得经由上述虹膜识别来识别人不太可靠。通过使用多个不同定位的红外LED并且在它们之间切换，可以使用例如特征提取算法组合多个图像，以在没有角膜反射存在或有很少角膜反射存在的情况下创建图像。多个不同光源可以用于确定凝视位置并且用于虹膜识别两者。
根据另选实施方式，如果不组合多个图像，则复杂度可能降低，但是作为代替，为了识别处理，忽略图像中存在由已知光源引起的反射和/或来自任何其它光源(例如，家用灯或太阳)的反射的那些区域。
根据一个实施方式，对象包括例如照片、视频或文档。照片、视频或文档可以包括个人信息或应该限于预定义一组人的信息。通过在不具有查看照片、视频或文档的许可的人正在尝试查看照片、视频或文档的情况下隐藏照片、视频或文档，可以在合作期间保护这种信息。
根据一个实施方式，上述方法由用户设备自动地执行。例如，与用户设备的相机组合的处理单元可以执行上述方法。由此，甚至当一大组人正在注视显示器时，也可以监测每个人，并且可以在未授权人正在注视对象的情况下，自动地且立即隐藏显示器上显示的每个对象。
根据本发明的另一方面，提供了一种用户设备。该用户设备包括显示器、捕获装置以及处理单元。显示器可以用于显示对象。对象可以包括例如图像、视频或文档或图像的缩略图或与视频的内容有关的缩略图。将许可分配给对象，许可定义人查看对象的允许。捕获装置(例如，一个相机或多个相机)被构造为捕获注视显示器的人的眼睛的图像。处理单元被构造为基于人的眼睛的所捕获图像，确定注视显示器的人的凝视位置。凝视位置定义人正在注视的显示器上的位置。基于凝视位置，处理单元确定凝视位置与对象被显示在显示器上的位置之间的距离。此外，处理单元被构造为基于分配给对象的许可确定是否允许正在注视显示器的人查看对象。如果处理单元确定不允许人查看对象，则处理单元根据所确定的凝视位置与对象的位置之间的距离隐藏对象。例如，当凝视位置与对象的位置之间的距离小于预定距离时，处理单元可以隐藏对象。预定距离可以取决于显示器的表面与人的眼睛之间的距离。
用户设备可以被构造为执行上述方法，因此还包括上述优点。此外，用户设备可以包括例如移动电话、智能电话、个人数字助理、移动媒体播放器、平板计算机、投影仪装置、电视机、便携式计算机、或具有布置在桌子上或墙壁处作为合作式表面的平面屏幕的计算机。
虽然关于本发明的具体实施方式和多个方面描述了以上概述和以下具体描述中所述的具体特征，但是应该注意，这里描述的实施方式和多个方面的特征可以彼此组合，除非另外特别注释。
附图说明
现在将参照附图描述本发明。
图1示意性地示出了根据本发明的实施方式的用户设备。
图2示意性地示出了根据本发明的实施方式的方法的方法步骤。
图3示出注视图1的用户设备的显示器的人。
图4示出注视图1的用户设备的显示器上的另一个位置的用户。
具体实施方式
在下文中，将更详细地描述本发明的示例性实施方式。将理解，这里描述的各种示例性实施方式的特征可以彼此组合，除非另外特别注释。
图1示意性地示出用户设备1。用户设备1例如可以包括移动电话(例如，所谓的智能电话)、平板PC、计算机监视器或家庭娱乐系统的平面屏幕或例如布置在办公室中的墙壁处或桌子上的合作式表面的平面屏幕。用户设备1包括显示器2(例如，液晶显示器)，在该显示器2上可以呈现针对注视用户设备1的人11-13的信息。显示器2上呈现的信息例如可以包括照片、图像、图画、图表、图解、视频或文本文档或其组合。用户设备1此外包括多个照射装置21-29，该多个照射装置21-29被布置在显示器2附近和周围，并且被构造为当人11-13正在注视显示器2时照射人11-13的脸。此外，用户设备1包括多个相机装置30、31，该多个相机装置30、31被布置在显示器2附近，并且被构造为当人11-13正在注视显示器2时，捕获人11-13的脸的图像。照射装置21-29可以包括例如用于照射人11-13的脸的红外照射装置(例如，红外发光二极管(IR LED))。通过使用红外光用于照射，人11-13将不注意照射，并且将不被照射干扰。捕获装置30、31(例如，数码相机)可以被构造为接收红外光，使得捕获装置30、31可以捕获人11-13的脸并且更具体地人11-13的眼睛的图像。通过使用红外光用于捕获人11-13的脸和眼睛，捕获可以独立于用户设备和人11-13的环境中的环境光。用户设备1此外包括处理单元3，该处理单元3控制照射装置21-29，从捕获装置30、31接收信息并且控制显示器2上的输出。
在示例性实施方式中，用户设备1可以包括可以布置在桌子上的合作式表面，并且人11-13可以坐在桌子周围注视合作式表面。每个人11-13可以访问表面上的他们自己的信息，他们自己的信息可以被呈现为表示显示器2上的文件的图像、图标等。这些对象中的一些可以以所谓缩略图的形式提供预览，或者对象中的一些可以被打开以在显示器2上全面详细地显示内容。然而，不是显示器2上显示的每一个信息对象对于每个人11-13都是可见的。例如，人11正在搜索人11想要显示给人12和13的图片。然而，当浏览文件系统的多个文件夹时，人11可能必须浏览大量图像文件以找到该图片。这些文件可以包括不想要由人12或11看到的信息。为了实现这一点，用户设备1被构造为执行图2中所示的方法。
图2示出了包括方法步骤41-48的方法40。将关于图3和图4解释方法40，图3和图4以立体侧视图示出注视用户设备1的人12。在用户设备1的显示器2上，显示对象50。对象50可以包括图像或图片，并且例如可以属于人11。人11已经将访问权限分配给对象50。对象50可以包含对于人12不可见的信息，因此用于观看对象50的所分配访问权限是非常有限的。特别地，人12不具有查看对象50的许可。
注视特定方向的人的锐视仅为大约两度。当人的眼睛(例如，人12的眼睛60)移动时，在较大区域上的锐视的体验由大脑模拟。然而，当人12注视特定方向(例如，图3中所示的方向61)时，仅存在取决于方向61和用户设备1与人12的眼睛60之间的距离的小锐视区域62。因此，在步骤41中，用户设备1的处理单元3确定显示器2上的用户12的当前凝视位置。在图3中，凝视位置由附图标记63来指示。为了确定凝视位置，用照射装置21-29照射人12的脸或至少眼睛，并且用捕获装置30和31捕获用户21的脸的图像。基于由捕获装置30和31捕获的图像，例如可以根据来自照射装置21-29的角膜反射连同眼睛60的瞳孔的中心位置来确定凝视方向61。接着，在步骤42中，确定凝视位置63与对象50之间的距离。当在步骤43中，凝视位置不在对象50的临界范围内时，人12不能直接注视对象50，因此不能接收对象50的锐视图像。因此，在这种情况下，不存在人12能够看到不想要由人12看到的信息的危险。然而，当凝视位置63与对象50之间的距离临界时，该方法在步骤44中继续。
图4示出在对象50的临界范围内的凝视位置64。例如，可以确定围绕凝视位置63的上述锐视区域62，并且当锐视区域62至少部分地覆盖对象50时，在步骤43中确定凝视位置63在对象50的临界范围内。在这种情况下，在步骤44中，基于用于确定凝视位置的先前捕获图像，捕获或确定人12的眼睛60的虹膜图像。对确定凝视方向和凝视位置63有用的角膜反射可以覆盖或干扰虹膜中的细节。因此，可以相继接通和断开照射装置21-29，并且可以针对正被接通的每个照射装置21-29捕获多个虹膜图像。然后，可以将多个虹膜图像组合成一个图像，其中，角膜反射被去除。在步骤45中，基于虹膜图像确定人12的身份，基于人12的身份和分配给对象50的许可，在步骤46中确定用于人12注视对象50的访问权限。如果允许人12注视对象50(步骤47)，则不需要进一步动作，并且方法40可以在步骤41中继续。然而，当不允许人12注视对象50时，在步骤48中隐藏对象50。
在图4中，由对象50的虚线来指示隐藏对象。隐藏对象50可以包括例如至少部分地使对象50模糊，从显示器2去除对象50或遮盖对象50。此外，可以在显示器2上输出指示人12正在注视对象50的通知。该信息对于对象50的所有者(例如，人11)有用，或者可以使得人12把目光从对象50移开。
总之，用户设备1将如下文所述那样表现。自然地，因为人11是对象50的所有者并且具有注视对象50的许可，所以当仅人11观看对象时，对象50对人11是可见的。然而，如果人12也直接注视对象50，则用户设备1例如将完全停止示出对象50，并且作为代替，呈现对象50是私人的消息。在人12的周边视觉(即，锐视区域外部)中，人12将仅具有对象50的非常模糊视图。然而，对象50的视图在人12的凝视越接近私人对象50时将变得越不太模糊。为了补偿这一点，用户设备1可以在人12的凝视越接近时逐渐使对象50模糊。对象50的该逐渐模糊允许更有效地使用表面的有限区域，同时还给予人11另一个人的凝视变得更接近的指示。可选地，还可以通过例如使用人12的注视变得更接近私人对象的图标来通知人12。
如上所述，显示表面上的每个对象应具有与不同用户有关的许可(像查看、移动以及删除)。为了决定人是否具有注视特定对象的许可，需要识别人。虹膜识别因为非常安全、随着时间过去是稳定的且针对每一个人是唯一的而被使用。此外，不要求人与用户设备之间的物理接触。可以使用可见光、红外光或组合来执行虹膜识别。为了确定人正在注视的位置，需要凝视追踪。使用一个或更多个红外光源和在红外光谱中敏感的对应相机提供非常好的凝视追踪。来自红外光源的角膜反射连同瞳孔的中心位置可以用于估计凝视位置。如果人已经通过上述虹膜识别被识别，则可能是安全的并且获取将用于凝视追踪的校准数据。在不能通过该系统识别用户的情况下，没有用户特定校准数据可用于凝视追踪。然而，以较低准确度和精度估计凝视位置仍然是可以的。
基于人的识别，确定对象特定许可。结合凝视位置，如果必要的话，可以隐藏对象。
在图1的上述用户设备1中，九个红外发光二极管和两个红外相机被用于虹膜识别和凝视追踪。使用多个红外光源可以减少虹膜识别中的角膜反射。使用多个相机使得凝视追踪和虹膜识别跨大水平距离能够很好地工作。然而，上述红外光源和红外相机的数量仅是示例，并且可以在广范围内变化。

Claims (16)

1.一种用于操作用户设备的显示器的方法，其中，所述用户设备(1)的所述显示器(2)被构造为显示对象(50)，其中，将许可分配给所述对象(50)，所述许可定义人(11-13)查看所述对象(50)的允许，所述方法包括：
确定注视所述显示器(2)的人(12)的凝视位置(63)，所述凝视位置(63)定义所述人(12)正在注视的所述显示器(2)上的位置，
确定所述凝视位置(63)与所述对象(50)的位置之间的距离，
基于所述人(12)的身份和分配给所述对象(50)的所述许可，确定是否允许所述人(12)查看所述对象(50)，以及
如果不允许所述人(12)查看所述对象(50)，则当所确定的所述凝视位置(63)与所述对象(50)的所述位置之间的距离小于凝视区域(62)的半径时，隐藏所述对象(50)。
2.根据权利要求1所述的方法，所述方法还包括：
基于所述人(12)的所述凝视位置(63)和预定义锐视视角确定凝视区域(62)的半径。
3.根据权利要求1所述的方法，其中，隐藏所述对象(50)包括：
使所述对象(50)模糊，其中，所述模糊的程度是所述凝视位置(63)与所述对象(50)的所述位置之间的所述距离的单调函数，其中，当所述距离变小时，所述模糊的程度增加。
4.根据权利要求1所述的方法，其中，隐藏所述对象(50)包括以下组中的至少一个，所述组包括：
使所述对象(50)至少部分地模糊，
从所述显示器去除所述对象(50)，
至少部分地遮盖所述对象(50)。
5.根据权利要求1所述的方法，其中，在所述显示器上显示输出，所述输出指示不具有查看所述对象(50)的许可的人(12)的凝视位置(63)正在接近所述对象(50)。
6.根据权利要求1所述的方法，其中，所述凝视位置(63)是处于注视所述显示器(2)的所述人(12)的视觉中心的所述显示器(2)上的位置。
7.根据权利要求1所述的方法，其中，确定是否允许所述人(12)查看所述对象(50)包括：
捕获所述人(12)的虹膜的图像，以及
基于所述虹膜的所述图像确定针对所述人(12)的识别信息，以及
基于分配给所述对象(50)的所述许可和针对所述人(12)的所述识别信息，确定是否允许所述人(12)查看所述对象(50)。
8.根据权利要求7所述的方法，其中，捕获所述人的所述虹膜的所述图像包括：
用预定光谱的光照射所述人(12)的眼睛(60)。
9.根据权利要求8所述的方法，其中，所述预定光谱包括红外光。
10.根据权利要求7所述的方法，其中，捕获所述人(12)的所述虹膜的所述图像包括：
随后从多个不同方向照射所述人(12)的眼睛(60)，
在从所述多个不同方向照射所述人(12)的所述眼睛(60)的同时，随后捕获所述人(12)的所述虹膜的多个图像，以及
通过组合所捕获的多个图像确定所述虹膜的所述图像。
11.根据权利要求1所述的方法，其中，确定注视所述显示器(2)的所述人(12)的所述凝视位置(63)包括：
捕获包括从所述人(12)的眼睛(60)的角膜反射的光的图像，以及
确定角膜图像中的所述眼睛(60)的瞳孔的中心位置。
12.根据权利要求1所述的方法，其中，所述对象(50)包括以下组中的至少一个，所述组包括：
照片，
视频，以及
文档。
13.根据权利要求1所述的方法，其中，所述方法(40)由所述用户设备(1)自动地执行。
14.一种用户设备，所述用户设备包括：
显示器(2)，所述显示器(2)被构造为显示对象(50)，其中，将许可分配给所述对象(50)，所述许可定义人(12)查看所述对象(50)的允许，
捕获装置(30、31)，所述捕获装置(30、31)用于捕获注视所述显示器(2)的人(12)的眼睛(60)的图像，以及
处理单元(3)，所述处理单元(3)被构造为：
基于所捕获的所述人(12)的所述眼睛(60)的图像确定注视所述显示器(2)的所述人(12)的凝视位置(63)，所述凝视位置(63)定义所述人(12)正在注视的所述显示器(2)上的位置，
确定所述凝视位置(63)与所述对象(50)的位置之间的距离，
基于所述人的身份和分配给所述对象(50)的所述许可，确定是否允许所述人(12)查看所述对象(50)，以及
如果不允许所述人(12)查看所述对象(50)，则当所确定的所述凝视位置(63)与所述对象(50)的所述位置之间的距离小于凝视区域(62)的半径时，隐藏所述对象(50)。
15.根据权利要求14所述的用户设备，其中，所述用户设备(1)被构造为执行根据权利要求1至13中的任一项所述的方法(40)。
16.根据权利要求14所述的用户设备，其中，所述用户设备(1)包括以下组中的至少一个装置，所述组包括：移动电话、个人数字助理、移动媒体播放器、投影仪装置、电视机以及便携式计算机。
CN201480078479.9A 2014-04-28 2014-04-28 操作用户设备的显示器的方法和用户设备 Active CN106462226B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/061042 WO2015166299A1 (en) 2014-04-28 2014-04-28 Operating a display of a user equipment

Publications (2)

Publication Number Publication Date
CN106462226A CN106462226A (zh) 2017-02-22
CN106462226B true CN106462226B (zh) 2019-04-26

Family

ID=50884430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480078479.9A Active CN106462226B (zh) 2014-04-28 2014-04-28 操作用户设备的显示器的方法和用户设备

Country Status (4)

Country Link
US (1) US9672387B2 (zh)
EP (1) EP3137967B1 (zh)
CN (1) CN106462226B (zh)
WO (1) WO2015166299A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6561639B2 (ja) * 2015-07-09 2019-08-21 富士通株式会社 関心度判定装置、関心度判定方法および関心度判定プログラム
US10386787B2 (en) * 2017-01-16 2019-08-20 International Business Machines Corporation Holographic projections for securing content
CN109040413A (zh) * 2017-06-12 2018-12-18 阿里巴巴集团控股有限公司 数据的显示方法、装置和系统
US10740446B2 (en) * 2017-08-24 2020-08-11 International Business Machines Corporation Methods and systems for remote sensing device control based on facial information
WO2020023721A1 (en) 2018-07-25 2020-01-30 Natus Medical Incorporated Real-time removal of ir led reflections from an image
US11372985B2 (en) * 2018-11-21 2022-06-28 Rovi Guides, Inc. Intelligent display of content
US10761648B2 (en) * 2019-01-16 2020-09-01 Michael D. Marra Gaze detection interlock feature for touch screen devices
US11062579B2 (en) 2019-09-09 2021-07-13 Honeywell International Inc. Video monitoring system with privacy features
CN111310249B (zh) * 2020-01-19 2022-01-28 维沃移动通信有限公司 信息显示方法及电子设备
US11630907B2 (en) * 2020-03-30 2023-04-18 Salesforce, Inc. Live data viewing security
US20220221932A1 (en) * 2021-01-12 2022-07-14 Microsoft Technology Licensing, Llc Controlling a function via gaze detection
CN113221699B (zh) * 2021-04-30 2023-09-08 杭州海康威视数字技术股份有限公司 一种提高识别安全性的方法、装置、识别设备
US11871147B2 (en) 2021-06-09 2024-01-09 Microsoft Technology Licensing, Llc Adjusting participant gaze in video conferences
US11656532B2 (en) 2021-06-16 2023-05-23 Dell Products L.P. Cylindrical camera dual leaf shutter
US11971645B2 (en) 2021-06-16 2024-04-30 Dell Products L.P. Cylindrical camera rotating cap shutter mechanism with enhanced audio security
US11736789B2 (en) * 2021-06-16 2023-08-22 Dell Products L.P. Peripheral camera and information handling system security system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218579A (zh) * 2013-03-28 2013-07-24 东莞宇龙通信科技有限公司 一种防止屏幕内容被偷窥的方法及其移动终端
US8594374B1 (en) * 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034754A (ja) * 1999-07-19 2001-02-09 Sony Corp 虹彩認証装置
KR100647298B1 (ko) * 2004-11-29 2006-11-23 삼성전자주식회사 빛 반사를 고려한 영상 처리 장치와 방법 및 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
JP2006259930A (ja) * 2005-03-15 2006-09-28 Omron Corp 表示装置およびその制御方法、表示装置を備えた電子機器、表示装置制御プログラム、ならびに該プログラムを記録した記録媒体
WO2009073584A1 (en) * 2007-11-29 2009-06-11 Oculis Labs, Inc. Method and apparatus for display of secure visual content
AU2010221722A1 (en) * 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
US8863008B2 (en) * 2010-02-17 2014-10-14 International Business Machines Corporation Automatic removal of sensitive information from a computer screen
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
US8539560B2 (en) * 2010-06-24 2013-09-17 International Business Machines Corporation Content protection using automatically selectable display surfaces
US8984622B1 (en) * 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
CN103324899A (zh) * 2012-03-23 2013-09-25 富泰华工业（深圳）有限公司 电子设备及其显示屏防窥视方法
US9075974B2 (en) * 2012-07-25 2015-07-07 Google Inc. Securing information using entity detection
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9208753B2 (en) * 2012-09-17 2015-12-08 Elwha Llc Unauthorized viewer detection system and method
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US8973149B2 (en) * 2013-01-14 2015-03-03 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
KR20150003455A (ko) * 2013-07-01 2015-01-09 삼성디스플레이 주식회사 홍채 인식 휴대 장치의 구동 방법 및 홍채 인식 휴대 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594374B1 (en) * 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
CN103218579A (zh) * 2013-03-28 2013-07-24 东莞宇龙通信科技有限公司 一种防止屏幕内容被偷窥的方法及其移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Is Anyone Looking? Mitigating Shoulder Surfing on Public Displays through Awareness and Protection;Frederik Brudy;《http://grouplab.cpsc.ucalgary.ca/grouplab/uploads/Publications/Publications/2014-Brudy.MSc.pdf》;20140311;1-53

Also Published As

Publication number Publication date
WO2015166299A1 (en) 2015-11-05
CN106462226A (zh) 2017-02-22
US20160275314A1 (en) 2016-09-22
US9672387B2 (en) 2017-06-06
EP3137967A1 (en) 2017-03-08
EP3137967B1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
CN106462226B (zh) 操作用户设备的显示器的方法和用户设备
CN111052046B (zh) 使用现实界面访问外部设备的功能
US10156900B2 (en) Systems and methods for discerning eye signals and continuous biometric identification
US9864910B2 (en) Threat identification system
US9747500B2 (en) Wearable retina/iris scan authentication system
US9355612B1 (en) Display security using gaze tracking
US20150254508A1 (en) Information processing apparatus, information processing method, eyewear terminal, and authentication system
AU2017218469A1 (en) Authenticating or registering users of wearable devices using biometrics
WO2015130383A2 (en) Biometric identification system
CN214846061U (zh) 头戴式设备的光学模块、显示模块以及头戴式设备
US11825103B2 (en) Gaze-driven recording of video
US11308686B1 (en) Captured image data in a computer-generated reality environment
WO2015049866A1 (ja) インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体
US10893412B2 (en) Authenticated device assisted user authentication
CN208013970U (zh) 一种生物特征识别系统
Harding et al. Real and predicted influence of image manipulations on eye movements during scene recognition
CN212112404U (zh) 头戴式设备及用于共享数据的系统
US20160242035A1 (en) Augmented reality for wearables with user-specific secure content systems and methods
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
Fink et al. DORA: Digital Object Recognition Audio–Assistant For The Visually Impaired
US20240103684A1 (en) Methods for displaying objects relative to virtual surfaces
US20240103686A1 (en) Methods for controlling and interacting with a three-dimensional environment
WO2023211844A1 (en) Content transfer between devices
WO2015093221A1 (ja) 電子機器及びプログラム
KR20230133356A (ko) 사용자 식별에 기초한 사용자 인터페이스들 및 디바이스설정들

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant