CN105026982A - 头戴式显示器及其控制方法 - Google Patents

头戴式显示器及其控制方法 Download PDF

Info

Publication number
CN105026982A
CN105026982A CN201380070790.4A CN201380070790A CN105026982A CN 105026982 A CN105026982 A CN 105026982A CN 201380070790 A CN201380070790 A CN 201380070790A CN 105026982 A CN105026982 A CN 105026982A
Authority
CN
China
Prior art keywords
external unit
hmd
assembly
user
keypad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380070790.4A
Other languages
English (en)
Other versions
CN105026982B (zh
Inventor
H·帕克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105026982A publication Critical patent/CN105026982A/zh
Application granted granted Critical
Publication of CN105026982B publication Critical patent/CN105026982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/42—User authentication using separate channels for security data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032—Protect output to user by software means

Abstract

揭示了头戴式显示器(HMD)及控制HMD的方法。该方法包括在由HMD捕捉的图像中检测外部设备，从该外部设备的第一用户界面(UI)识别至少一个组件，该至少一个组件包括键区或用于输出对应于针对该键区的输入信号的数据的窗口，生成包括所识别的至少一个组件的第二UI，在HMD中显示该第二UI，其中被显示在外部设备上的第一UI的所述至少一个组件用所显示的第二UI使用从其中检测外部设备的图像来覆盖，并在HMD中的第二UI上显示对应于当前在外部设备上接收的输入信号的数据。

Description

头戴式显示器及其控制方法
技术领域
本发明涉及头戴式显示器及其控制方法，且更具体地，涉及用于当用户将需要隐私保护的信息显示在外部设备上时允许用户查看该信息的头戴式显示器及其控制方法。
背景技术
伴随着数字设备的轻重量和小尺寸的趋势，越来越多的便携式设备已经被使用。因此，用户可以轻易在任何地方在任何时候使用便携设备执行想要的任务。例如，银行服务可用而不管时间和地点，且通过便携设备可在用户之间方便地进行联系。
图1示出传统便携式设备中银行服务的一示例。
参见图1，当用户打算通过便携式设备10使用银行服务时，用户要输入证书口令。由于证书口令需要安全性，它的内容不被显示，以安全指示11来防止其他人看证书口令。因此，在便携式设备10上进行银行业务期间一定级别的安全性被保证。
然而，当用户输入证书口令时，用户当前正在输入的特定键在键区12上被放大，如图1所示。一旦靠近用户的某人决定找出口令，用户的口令就容易被知晓。
头戴式显示器(HMD)指可戴在头上的像眼镜似的用于显示图像的任何图像显示装置。HMD是一类可穿戴计算机，其仅允许用户查看所显示的信息。因此，用户的隐私被容易地保护了，因为信息不向用户周围的人展示。
HMD可结合各种外部设备来使用。HMD通过网络连接到外部设备并且因此可输出从外部接收到的内容。此外，HMD可接收用户向外部设备的输入或执行与外部设备交互的操作。
发明内容
技术问题
设想来解决问题的本发明的一个目的依赖于一种方法，该方法用于当个人数据要被显示在外部设备上时，将个人数据显示在头戴式显示器(HMD)上来阻止个人数据暴露给用户周围的人。
设想来解决问题的本发明的另一个目的依赖于一种方法，该方法用于在HMD上仅显示在外部设备上显示的内容中需要保护的组件。
设想来解决问题的本发明的另一个目的依赖于一种方法，该方法用于将来自外部设备的需要保护的数据显示在HMD上，同时将保护层应用于外部设备上的数据使得数据不能被查看。
设想来解决问题的本发明的进一步目的依赖于关于向其应用了保护层用于外部设备中的数据保护的组件的触觉反馈。
问题的解决方案
本发明目的可通过提供用于控制HMD的方法来实现，该方法包括在由HMD捕捉的图像中检测外部设备，从该外部设备的第一用户界面(UI)识别至少一个组件，该至少一个组件包括键区或用于输出对应于针对该键区的输入信号的数据的窗口，生成包括所识别的至少一个组件的第二UI，在HMD中显示该第二UI，其中被显示在外部设备上的第一UI的所述至少一个组件用所显示的第二UI使用从其中检测外部设备的图像来覆盖，并在HMD中的第二UI上显示对应于当前在外部设备处接收的输入信号的数据。
在本发明的另一个方面，在此提供了HMD，该HMD包括：配置用于控制HMD的操作的处理器，配置用于输出图像的显示单元，配置用于向外部设备发送数据并从外部设备接收数据的通信单元，以及配置用于捕捉图像并将所捕捉的图像提供给处理器的传感器单元。该处理器配置用于在由HMD捕捉的图像中检测外部设备，从该外部设备的第一UI识别至少一个组件，该至少一个组件包括键区或用于输出对应于针对该键区的输入信号的数据的窗口，生成包括所识别的至少一个组件的第二UI，显示该第二UI使得被显示在外部设备上的第一UI的所述至少一个组件用所显示的第二UI来覆盖，并在第二UI上显示对应于当前在外部设备上接收的输入信号的数据。
发明的有利效果
根据本发明的一个实施例，如果外部设备被设想为显示个人信息，个人信息通过HMD显示，从而阻止数据泄漏并增强了安全性。
根据本发明的另一个实施例，仅仅是显示在外部设备上的各组件中需要隐私保护的组件被显示在HMD上。因此，用户便捷性可被增强。
根据本发明的另一个实施例，保护层被提供给显示在HMD上的数据，用于数据保护，使得同样的数据不被显示在外部设备上。因此，用户被允许查看数据而不受中断，而通过外部设备的数据泄漏被有效防止。
根据本发明的进一步的实施例，在收到关于保护层被提供在外部设备上的组件的用户触摸输入时，为了数据保护，外部设备提供触觉反馈，从而增强用户便捷性。
附图简述
包括在内以提供对本发明的进一步理解的附图示出了本发明的各个实施例并与描述一起用于解释本发明的原理。
在附图中：
图1示出传统便携式设备中银行服务的一示例；
图2示出了根据本发明的一个实施例的头戴式显示器(HMD)，戴着HMD的用户，以及与HDM交互的外部设备；
图3是根据本发明一实施例的HMD的功能框图；
图4示出了根据本发明的在外部设备上显示用户界面(UI)的实施例；
图5示出了根据本发明的在HMD和外部设备上显示UI的实施例；
图6示出了根据本发明的在HMD和外部设备上显示UI的另一实施例；
图7示出了根据本发明的在HMD和外部设备上显示UI的又一实施例；
图8示出了根据本发明的在外部设备中的UI的组件上显示保护层的实施例；
图9示出了根据本发明的显示组件的实施例，其布局已经在HMD上根据用户抓握进行了调整；
图10示出了根据本发明的控制外部设备中的保护层的显示属性的实施例；
图11示出了根据本发明的外部设备是智能电视的实施例；
图12示出了根据本发明的外部设备是数字门锁的另一实施例；
图13示出了根据本发明的外部设备是智能电话的另一实施例；
图14示出了根据本发明的外部设备是自动取款机(ATM)的进一步的实施例；以及
图15是示出根据本发明一实施例的用于控制HMD的方法的流程图。
实现本发明的最佳模式
尽管本发明中使用的术语从一般是已知和使用的术语中选择，术语可根据操作者的意图、惯例、或新技术出现而被改变。本发明的说明书中提及的一些术语被申请人基于他或她的判断来选择，其详细的含意在说明书的相关部分中在此描述。因此，必须不是简单通过所使用的实际术语而是通过每个术语所处的含意来理解本发明。
本发明的各实施例将参考附图及附图中的说明来进行详细描述，其不应当被解释为限制本发明。
图2示出了根据本发明的一个实施例的头戴式显示器(HMD)，戴着HMD的用户，以及与HDM交互的外部设备。
根据本发明的外部设备100可输出各种类型的内容111。例如，外部设备100可输出各种多媒体内容，包括实况广播、电影、音乐、肥皂剧、web页面、游戏、应用等。
外部设备100包括至少一个显示单元110，用于显示从外部设备100输出的内容111。
外部设备100还可包括用于向HMD 200和其它设备发送数据或从HMD 200和其它设备接收数据的通信单元(未示出)。
当显示在外部设备100上的内容需要保护时，根据本发明，所显示的内容可被整个地或部分地发送到HMD 200。即，如果显示在外部设备100上的UI包括预定组件，外部设备100可将必要数据发送到HMD 200，使得整个UI或UI中包括的组件可被显示在下面将参考图4到7描述的HMD 200上。
因此，在本发明中外部设备100可以是任何各种设备，每一个包括显示单元和通信单元。例如，特别是当外部设备100是能够显示数据并与其它设备进行通信的便携式设备(诸如个人数字助理(PDA)、膝上型计算机、平板电脑等)时，外部设备100是有用的，因为对于例如便携设备在户外使用时个人信息常常需要隐私保护。这将参考图4更详细地描述。
图2所示的HMD 200可与外部设备100交互进行操作。为了交互，HMD 200可与外部设备100配对或与外部设备100建立通信连接。配对或通信连接建立可响应于通过HMD 200或外部设备100的用户输入来执行。
例如，HMD 200可提供按钮或UI以供与外部设备100配对或与外部设备100建立通信连接。此外，用户可使用按钮或UI将HMD 200与外部设备100进行配对或建立HMD 200与外部设备100之间的连接。
一旦HMD 200与外部设备100配对或与外部设备100建立了通信连接，来自外部设备100的要被保护的数据可被显示在HMD 200上。
本发明中，网络20可以是允许HMD 200和外部设备100之间的通信的各种有线和/或无线网络中的任一种。可用网络可按照近场通信(NFC)、红外通信、蓝牙、无线保真(WiFi)等进行操作。然而，本发明不仅限于特定网络。
在本发明中，HMD 200可通过上述网络的一个或组合来与外部设备100进行通信。
图3是根据本发明一实施例的HMD的功能框图。图3中所示的HMD的配置仅仅是本发明的一实施例，并且从而在本发明的范围内可从该HMD移除组件或向该HMD添加组件。
参见图3，根据本发明的一实施例的HMD 300可包括显示单元310、通信单元320、传感器单元330，和处理器340。
显示单元310将图像显示在屏幕上。显示单元310可基于在处理器340中执行的内容或根据从处理器340接收到的控制命令来输出图像。
根据本发明的一个实施例，显示单元310也可根据从与HMD 300交互的外部设备(例如便携式设备)接收到的控制命令来显示图像。
例如，显示单元310可显示与HMD 300交互的外部设备上正在执行的内容。内容包括通过执行web页面或应用显示的UI以及图片或视频。在本发明中，内容可包括被显示来执行特定功能的任何数据。HMD 300可从外部设备通过通信单元320接收数据，并基于所接收的数据输出图像。
通信单元320可基于各种协议通过与外部设备通信来发送或接收数据。此外，通信单元320可访问有线或无线网络并通过该网络发送和接收诸如内容的数据。
在本发明中，HMD 300可通过通信单元320与外部设备配对或建立通信连接，并且从而可向连接的外部设备发送数据或从连接的外部设备接收数据。通信单元320可访问有线或无线网络并从而可发送和接收数字数据，诸如内容、UI的图形数据，以及控制命令。
因此，本发明的HMD 300可通过通信单元320从外部设备接收需要隐私保护的数据，并将接收到的数据以仅用户可查看该数据的方式显示在显示单元310上。
传感器单元330可使用安装到HMD 300的多个传感器向处理器340发送用户输入或关于HMD所观察到的环境的信息。传感器单元330可包括多个传感器。
多个传感器可包括重力传感器、地磁传感器、运动传感器、陀螺仪传感器、加速传感器、红外传感器、倾斜传感器、环境光传感器、高度传感器、气味传感器、温度传感器、深度传感器、压力传感器、弯曲传感器、音频传感器、视频传感器、全球定位系统(GPS)传感器、触摸传感器等。这些传感器可被包括为HMD 300中的分立元件或结合到HMD 300的至少一个元件中。
如上面描述的，传感器单元300指一组各种传感器。传感器单元300可感测用户的各种环境并将感测到的结果提供给处理器340使得处理器340可执行与所感测到的结果相对应的操作。
本发明旨在提供环境，其中当需要隐私保护的数据显示在外部设备上时，用户可在HMD上查看该数据。特别是在本发明的一个实施例中，显示在外部设备上的数据和显示在HMD上的数据可被组合成对于用户眼睛完整的数据。这样，用户获得完整的信息。
因此，传感器单元330可包括捕捉传感器(未示出)。捕捉传感器可捕捉图像。换言之，捕捉传感器可在对应于戴着HMD 300的用户的视野的预定区域中检测图像，并将所检测到的图像提供给处理器340。
处理器340可基于由捕捉传感器所检测到的图像来确定是否有外部设备存在于对应于戴着HMD 300的用户的视野的预定区域中。一旦检测到外部设备的存在，处理器340可从外部设备接收需要隐私保护的数据并显示该数据。
此外，处理器340可在由捕捉传感器检测到的图像中识别显示在外部设备上的UI的组件。即，处理器340可通过图像处理等来识别包括在所检测到的图像中的UI的组件。这将稍后参考图6和7进行描述。
数据是否需要隐私保护或者外部设备是否要向HMD发送数据可根据预定的条件以不同方式确定，这将参考图4进行描述。
处理器340可在HMD 300内处理数据，控制HMD 300的每个单元，并控制HDM 300的各单元之间的数据发送和接收。
尽管没有在图3中示出，HDM 300可包括存储单元、音频输入/输出(I/O)单元，或电源单元。
存储单元(未示出)可存储各种数字数据，如音频、照片、视频和应用。存储单元指各种数字数据存储空间，诸如闪存、随机存取存储器(RAM)、固态驱动器(SSD)等。
存储单元可临时存储通过通信单元320从外部设备接收的数据。存储单元可被用于缓冲从外部设备接收到的数据或内容，并将经缓冲的数据或内容通过HMD 300输出。在本发明中，可选地将存储单元包括在HMD 300中。
音频输出单元(未示出)包括诸如扬声器、耳机等的音频输出装置。此外，音频输出单元可基于在处理器340中执行的内容或响应于从处理器340接收到的控制命令来输出声音。在本发明中，可选地将音频输出单元包括在HMD 300中。
电源单元是连接到内部电池或外部电源的电源，用于向HMD 300供电。
在图3中示出的HMD 300的框图是纯示例性的。图3中示为分开配置的框是逻辑分开的元件。因此，取决于设备设计，上述元件可被安装在一个或多个芯片上。
本发明提供了一种方法，该方法用于当用户在外部设备上显示需要隐私保护的信息时，以这样的方式将信息显示在HMD上使得该信息不对外展示。此方法将在以下参考图4到7进行描述。
图4示出了根据本发明的在外部设备上显示UI的实施例。
使用由传感器单元捕捉的图像，HMD可检测与HMD交互的外部设备存在或不存在于对应于戴着HMD的用户的视野的预定区域中。即，通过图像处理等，HMD可检测所捕捉的图像中的预定外部设备的图像
此外，HMD可使用关于HMD的位置信息和关于外部设备的位置信息或通过HMD的红外传感器来检测与HMD交互的外部设备。
所检测到的外部设备400可显示UI 410。UI 410是在外部设备400中执行的提供给用户、关于应用、web页面等的界面。
UI 400可以包括至少一个组件。如图4所示，该至少一个组件可包括键区411和用于输出对应于针对键区411的输入信号的数据的窗口413。
当需要安全的数据，诸如用户标识符(ID)、口令等显示在外部设备400的UI410上时，有在输入数据期间将数据向外暴露的风险。换言之，无论窗口413的安全处理，当用户向键区411输入数据时，输入数据可被展示给围绕用户的人并因此用户遭遇数据泄露风险。
在此上下文中，本发明中普通模式和保护模式被定义用于外部设备，且如果外部设备被置于保护模式中时，需要安全性的数据仅显示在HMD上。模式切换可以各种方式针对外部设备执行。下面，切换外部设备的模式的实施例将首先描述。
根据本发明的一个实施例，外部设备显示模式切换图标420，使得其模式可根据用户输入来切换。即，在从用户接收到请求数据保护的用户输入时，例如，在触摸图标420时，外部设备可切换到保护模式。
在本发明的另一个实施例中，外部设备可提取有关显示在外部设备上的内容的属性信息，并可根据所提取的属性信息切换到另一个模式。内容可包括在外部设备上可显示的任何数据以及照片和视频。关于内容的属性信息可被预存储在外部设备的存储单元中。此外，关于内容的属性信息可包括指示是否需要数据保护的信息。此属性信息可由用户设置。
例如，如果对于诸如需要成员关系或登陆的web页的内容、需要用户确认的应用或处于锁定状态的图像数据需要用户确认或用户授权，则可预先在属性信息中设置数据保护并和该类内容一起存储。因此，外部设备可在执行内容时参考存储单元基于关于内容的属性信息切换其模式。
在本发明的另一个实施例中，当外部设备显示预设UI时，外部设备可从普通模式切换到保护模式。预设UI包括键区、输出对应于针对键区的输入信号的输出数据的窗口，以及输出用户个人信息的窗口中的至少一个组件。
在此方式中，外部设备可在显示预设UI的同时从普通模式切换到保护模式。此外，外部设备可通过图4所示的保护模式图标420的方式来指示其正在保护模式中操作。
如上描述的，根据预定条件外部设备可从一个模式切换到另一个。然而，如果外部设备已经与HMD配对，HMD可根据预定条件来控制外部设备的模式切换。因此，在本发明的上述实施例中外部设备或者HMD可负责切换外部设备的模式。
在本发明的进一步的实施例中，HMD可确定用户是否戴着HMD。一旦检测到用户戴着HMD，HMD可将外部设备从普通模式切换到保护模式。HMD可通过包括触摸传感器、捕捉传感器等的传感器单元检测用户是否戴着HMD。用户戴着HMD可暗示用户打算通过HMD查看个人信息，并因此HMD可将外部设备切换到保护模式。
代替控制外部设备的模式切换，HMD可将请求切换到保护模式的信号发送到外部设备，使得外部设备可切换到保护模式。
外部设备可用各种方式切换其模式，不限于上面描述的各实施例。如前面描述的，负责切换外部设备的模式的实体可以是外部设备或HMD。
当外部设备从普通模式切换到保护模式时，HMD可识别显示在外部设备上的UI中的至少一个组件。HMD还可生成包括已识别的至少一个组件的UI并显示该UI。为了方便描述，外部设备提供的UI和HMD提供的UI将被分别称为第一和第二UI。
图5示出了根据本发明的在HMD上显示UI的实施例和外部设备。在本发明的实施例中，显示在外部设备上的整个第一UI被显示为HMD上的第二UI。
参见图5(a)，一旦接收到对预设图标511的用户输入，外部设备510可切换到保护模式。当外部设备510从普通模式切换到保护模式时，HMD 520可从外部设备510接收与第一UI 513有关的数据、生成与第一UI 513相同的第二UI 523，并显示该第二UI 523。
HMD 520可从外部设备510接收生成第二UI 523所需的数据，并基于所接收的数据生成第二UI 523。替换地或附加地，HMD 520可通过从由传感器单元捕捉的来自外部设备510的图像中识别外部设备510的显示单元或屏幕并使用显示在显示单元或屏幕上的图像或编辑该图像来生成第二UI 523。
因此用户可以在HMD 520上查看与外部设备510提供的UI 513相同的UI523。
值得注意，一旦接收到对键区的输入信号，作为包括在第一UI 513中的组件之一的窗口515可表示输入的状态。当外部设备510显示对应于窗口515上的输入信号的数据时，数据可被展示给围绕外部设备510的其它人。因此，外部设备510使显示在窗口515上的数据经受安全性处理，以使得仅仅是输入状态被显示在窗口515上并且因此围绕外部设备510的其他人不能看见数据的内容。
另一方面，因为只有戴着HMD 520的用户可看见包括在第二UI 523中的组件525，即，对应于针对键区的输入的数据被输出的窗口525，所以数据不经受安全性处理并且因此输入状态和输入数据可被显示。
用户可在第二UI 523上查看全部需要的数据。因此，外部设备510可在第一UI 513的所显示的区域上显示保护层以防止信息暴露给围绕外部设备510的人。保护层是显示在第一UI 513上的层，其使得显示在第一UI 513上的数据不可见或不可标识。这将参考图8、9和10进行描述。图6示出了根据本发明的在HMD上显示UI的另一实施例和外部设备。在本发明的前面描述的实施例中，HMD的第二UI与外部设备的第一UI相同。在这个实施例中，HMD的第二UI仅包括外部设备的第一UI的组件的一部分。
参见图6，由外部设备610提供的第一UI 611可包括至少一个部件。HMD 620可仅识别第一UI 611中的特定组件。所识别的组件可包括键区613或用于输出对应于针对键区613的输入信号的数据的窗口。如图6所示，HMD 620识别第一UI中的键区613并生成具有已识别的键区613的第二UI 621。
现在将给出在HMD 620中识别第一UI 611的组件的实施例的描述。外部设备610可将与包括在第一UI 611中的至少一个组件相关的数据存储在存储单元中，或从外部服务器接收该数据。外部设备610可将与至少一个组件有关的所存储的或所接收的数据发送到HMD 620。接着，HMD 620可从接收数据中识别组件。
下面将描述在HMD 620中识别第一UI 611中的组件的另一个实施例。HMD620可识别所捕捉的图像中的组件以检测外部设备610。换言之，HMD 620可通过例如裁剪来将显示在外部设备610的显示单元上的图像与外部设备610的被捕捉的图像分开，并且可识别分开的图像中的第一UI中的组件类型。
HMD 620可生成第二UI 621，其具有对应于所识别的组件的预先存储的组件。或者HMD 620可通过使用或编辑所识别的组件的图像来生成第二UI 621。
HMD 620可显示第二UI 621使得第二UI 621覆盖在被显示在外部设备610上的第一UI 611上。
即，HMD 620可使用所捕捉的图像识别外部设备610的显示单元(或屏幕)以检测外部设备610。因此，HMD 620可显示第二UI 621使得第一UI 611的组件613被包括在第二UI 621中的组件覆盖。
HMD 620在将第二UI 621布置在第一UI 611上时可考虑用户瞳孔大小、用来看见第二UI 621的光学系统的眼睛间隙、放大率，和视野(FOV)。
因此，用户可观察到整个图像，其中第二UI 621与第一UI 611组合为一个界面。
此外，外部设备610可在用第二UI 621覆盖的第一UI 611的组件613上显示保护层。保护层的使用有利地减少了输出在外部设备610上的数据暴露给围绕用户的人的风险。这将稍后参考图8、9和10进行更详细的描述。
图7示出了根据本发明的在HMD上显示UI的第三实施例和外部设备。当在本发明的第二实施例中仅一个组件在第一UI中被识别且第二UI用所识别的组件生成时，在本发明的第三实施例中第二UI用包括在第一UI中的多个组件生成。
参见图7(a)，一旦接收到对预设图标711的用户输入信号，外部设备710可从普通模式切换到保护模式。如前面描述的，外部设备可通过不同于用户输入的触发来从普通模式切换到保护模式。
当外部设备710切换到保护模式时，HMD 720可识别至少一个组件。HMD 720可以各种方式识别该至少一个组件，例如，通过从外部设备接收与组件相关的数据或处理捕捉到的图像。所识别的组件的数量没有限制。如图7(b)所示，HMD720可识别多个组件。
在图7(b)中，第一UI将键区715和用于输出对应于针对键区715的输入信号的数据的窗口713包括为组件。因此，第二UI可包括键区723和用于输出对应于针对键区723的输入信号的数据的窗口721。
在此要注意的一件事是，外部设备710可在用第二UI 621覆盖的第一UI713的组件713和715上显示保护层。因此，用户不能查看保护层的显示区域中的数据。因此，仅仅在用户戴着HMD 720同时看见第一和第二UI时用户才可查看完整UI。
尽管其它人围绕用户，没有数据从外部设备泄露。此外，因为第二UI覆盖在第一UI的组件之上，用户可简单地通过同时看见第一和第二UI容易地看见一个完整的UI无需任何特别努力。
同时，HMD 720可在第二用户认证界面上显示对应于当前在外部设备上接收的输入信号的数据。
用户触摸输入可通过外部设备的第一UI被接收。相反，第二UI不能接收用户的触摸输入，因为它是通过HMD 720显示的虚拟界面。
在此上下文中，根据本发明外部设备710在第一UI上接收用户触摸输入而HMD 720在第二UI上提供对用户的触摸输入的反馈。
在图7(b)中，当用户触摸外部设备710的键区715上的特定键时，HMD 720可在第二UI上显示被触摸的键725，作为指示被触摸的键的反馈。
在此，HMD 720可从外部设备710接收对应于用户触摸输入的数据，并将被触摸的键725显示为对应于接收到的数据的特定键。或者HMD 720可通过传感器单元确定用户触摸输入的位置，并通过识别对应于所确定的位置的键来将被触摸的键725显示在第二UI中。HMD 720可从接收自外部设备710的图像或被捕捉以检测外部设备710的图像来识别通过用户触摸输入选择的键。本发明不限于所述特定方法。相反，所选择的键可以以其它各种方式来识别。
同时，外部设备710可在用第二UI覆盖的第一UI的组件上显示保护层。保护层是显示在第一UI上的层，使得围绕外部设备的人难以看见第一UI上显示的数据。因此，保护层的所显示的区域对于用户和其他人来说被察觉为黑屏。
如果保护层显示在第一UI上，当用户的触摸输入是从第一UI接收时发生问题。
例如，如果其上显示了保护层的组件是键区，用户应当能够确认被触摸的键以正确输入想要的键。但是，当用户触摸第一UI时，在查看第二UI寻找想要的键时用户是有困难的。
即，当用户的触摸输入在第一UI上被接收时，用户可在第二UI 723上确认输入键。由于输入界面(第一UI)和显示用于输入的界面(第二UI)之间的不同，用户在应用触摸输入时会感到困难。
因此，当外部设备显示保护层时，在本发明中保护层可以以各种方式显示以促进用户的触摸输入，这将参考图8详细描述。
图8示出了根据本发明的在外部设备中的UI的组件上显示保护层的实施例。假设键区被识别为外部设备800中的第一UI的组件且第二UI用所识别的键区来生成。
如前面描述的，外部设备800可在用第二UI覆盖的第一UI的组件上显示保护层810。如果第二UI的组件包括键区，保护层810可包括第一UI的轮廓。
因此，尽管用户不能标识第一UI的键区上的特定键，用户可基于轮廓容易地找到被第二UI覆盖了的特定键。当第一UI的保护层包括轮廓时，HMD可通过将第二UI呈现得更透明来高度利用。即，如果第二UI变得更透明，用户可看见匹配的轮廓以及输入特定键的他或她的手，并且因此容易地输入该特定键。
因为保护层810提供了键区的轮廓，用户在触摸第一UI上的特定键、查看第二UI时可从其它键中容易地标识特定键。
当第二UI将键区包括为组件时，第一UI可提供对应于用户对其上显示了保护层810的组件的触摸输入的触觉反馈。因此，外部设备可包括用于检测触摸输入的传感器单元以及用于提供对应于触摸输入的触觉反馈的触觉反馈单元。
在其中外部设备接收用户的触摸输入并提供对应于该触摸输入的触觉反馈的情况下，用户抓握的形状是重要的。特别是当外部设备是诸如智能电话的便携式设备时，因为增大了的显示尺寸，难以用一只手控制便携式设备。因此，取决于用户抓握外部设备的形状用户可方便地或者不方便地使用外部设备。
因此，当外部设备中的第一UI的组件包括键区时，HMD可从捕捉到的图像检测用户在外部设备上抓握的形状。此外，HMD可根据所检测到的抓握形状在第二UI上提供预设组件。预设组件可以是键区，其布局根据所检测到的抓握形状调整以方便用户触摸。这将参考图9详细地描述。
图9示出了根据本发明的显示组件的实施例，该组件的布局已经在HMD上根据用户抓握进行了调整。
如果所识别以生成第二UI的第一UI的组件包括键区，HMD 920就可从HMD920捕捉到的图像检测用户在外部设备910上抓握的形状，如前面描述的。
HMD 920可用根据用户的抓握的形状调整以增加用户便利的布局来将键区存储在存储单元中。因此，根据检测到的抓握的形状的具有预设布局的键区被生成为第二UI 921的组件。因此，包括在第二UI 921中的键区的布局可不同于包括在第一UI中的键区的布局。
当HMD 920显示第二UI 921时，外部设备910可在用第二UI 921覆盖的第一UI的组件上显示保护层911。
如图9(a)所示，保护层911可包括被包括在第二UI 921中的键区的轮廓。即，尽管包括在第一和第二UI中的键区有不同的布局，但是用户看见第二UI并且因此保护层911可包括对应于包括在第二UI 921中的键区的布局的轮廓。
因此，包括在保护层911中的键区的轮廓与显示在第二UI 921上的键区的轮廓匹配。此外，包括键区的第二UI 921的组件可覆盖在保护层911的轮廓上。
外部设备920可提供对应于用户对第一UI上的保护层911的触摸输入的触觉反馈。由于保护层911包括根据用户抓握的形状调整的第二UI的键区轮廓，外部设备910可提供根据包括在保护层911中的轮廓调整的触觉反馈。
因此，用户可从触觉反馈感觉到键区的轮廓，并可容易地触摸键。
用户触摸第一UI的键区，同时查看具有不同布局的键区。因此，对应于用户触摸输入的键输入可从被HMD捕捉的图像中，或通过从外部设备接收关于触摸输入的位置的信息并将位置信息与键区匹配来进行标识。
图9(a)示出了根据本发明的实施例的，作为组件的具有根据用户的抓握的形状调整的布局的键区。图9(b)示出了根据本发明的实施例的，作为组件的具有根据用户的抓握的形状调整的布局的呼叫相关菜单。在HMD 920显示具有至少一个供用户输入的选项的作为组件的菜单的情况下，HMD 920可根据用户抓握的形状来改变菜单的布局。
因此，当第一UI的各组件被识别来生成包括具有至少一个选项的菜单的第二UI时，HMD 920使用捕捉到的图像检测在外部设备910上用户抓握的形状。
HMD 920可将具有根据用户抓握的形状调整来方便用户使用的布局的菜单存储在存储单元中，或可在检测时调整菜单的布局并将调整好布局的菜单作为第二UI 923的组件来生成。
当HMD 920显示第二UI 923时，外部设备910可在用第二UI 923覆盖的第一UI的组件上显示保护层913。如图9(b)所示，保护层913可包括被包括根据检测到的抓握形状调整了的菜单的轮廓。
因此，包括在保护层913中的菜单的轮廓与显示在第二UI 923上的菜单的轮廓匹配。即，包括第二UI 923的菜单的组件可被覆盖在包括在保护层913中的轮廓上。
此外，外部设备910可提供对应于用户通过第一UI对保护层913的触摸输入的触觉反馈。由于保护层913包括根据用户抓握的形状调整的第二UI 923的菜单的轮廓，外部设备910可提供根据包括在保护层913中的轮廓调整的触觉反馈。
上面已经描述了根据本发明的一个实施例，显示在外部设备上的保护层是黑屏使得用户不能在保护层的显示区域中查看数据。同时，尽管数据需隐私保护，用户可能想要看见在外部设备上的数据。因此，本发明提供了允许用户控制保护层的显示属性的外部设备。
图10示出了根据本发明的控制外部设备上的保护层的显示属性的实施例。
根据本发明，外部设备可提供具有用于根据关于保护层在其上显示的组件的用户输入来调整保护层显示属性的界面的第一UI。
参见图10(a)，当显示以黑屏形式的保护层1013时，第一UI可提供界面1011，用于允许用户调整保护层1013的透明度。当用户操纵界面1011来调整保护层1013的透明度时，外部设备可显示如图10(b)所示的透明保护层1023。
尽管根据本发明的该实施例保护层的显示属性在图10中示为透明度，显示属性可包括色度和透明度中的至少一者，不限于透明度。
同时，外部设备不限于本发明中的特定设备。因此，外部设备可以是任何设备，只要它提供了显示单元并能通过网络连接到HMD。然而，如果外部设备是特定设备，其利用增加，这将参考图11到14进行描述。
图11示出了根据本发明的外部设备是智能电视的实施例。
随着智能电视的快速发展，越来越多的用户使用智能电视。由于智能电视在视频点播(VOD)以及陆地频道中提供各种类型的内容，用户喜欢越来越多的付费内容。结果，当用户要看智能电视1110时，用户需要在很多情况下输入用户ID和口令，如图11(a)所示。当智能电视1110提供用于接收用户ID和口令的第一UI 1111时，用户可使用遥控器120来输入用户ID和口令。
尽管环境中仅预定数量的用户在有限空间内使用智能电视1110，内容可根据内容的类型被限制到仅特定用户。在需要时，用户ID和口令应当受到保护，防止暴露给附近的人。然而，当用户使用遥控器1120输入用户ID和口令时，特定输入键被显示为放大了，并且因此用户ID和口令被揭露，如图11(a)所示。
因此，本发明的HMD 1130可识别智能电视1110的组件并在第二UI 1131上提供经识别的组件，如图11(b)所示。第二UI 1131可覆盖在被显示在智能电视1110的第一UI的组件上。智能电视1110可在用第二UI 1131覆盖的第一UI的组件上显示保护层。
智能电视1110可通过遥控器1120接收用户输入，且HMD 1130可附加地提供对应于当前在第二UI 1131上接收到的输入信号的数据。
图12示出了根据本发明的外部设备是数字门锁的另一实施例。
图12(a)所示的数字门锁1210最近已经在办公室和公寓中流行。当预设的口令被输入到数字门锁1210的第一UI 1211时，数字门锁1210被打开。然而由于数字门锁1210被对外展示，当用户输入口令时口令可能被暴露给外面的人。
因此，本发明中，HMD 1220识别用于在第一UI 1211上输入口令的组件，并提供具有经识别的组件的第二UI 1221。数字门锁1210可在第一UI 1211上显示保护层1213。
如图12(b)所示，包括在第二UI 1221中的键区可被配置以具有不同于包括在第一UI 1211中的键区的布局的布局。因此，即使外面的人看见用户输入口令，他或她不能标识输入键。因此，口令不被暴露。
此外，显示在第一UI 1211上的保护层1213可包括组件的轮廓。第一UI1211还可提供对应于用户的触摸输入的触觉反馈。
图13示出了根据本发明的外部设备是智能电话的实施例。
已经描述了外部设备是便携式设备，且识别的用于由HMD生成第二UI的组件是键区和用于输出对应于针对键区的输入的数据的窗口。
然而，不同于键区和窗口的许多其它组件可能需要数据保护。参见图13(a)，在便携式设备是智能电话1310的情况下，当消息在用户之间通过社交联网服务(SNS)发送和接收时，智能电话1310可提供显示消息发送和接收历史的组件1311。由于消息在许多情况携带用户数据，它们常需要隐私保护。
因此，HMD 1320可识别用于显示消息发送和接收历史的组件1311并在第二UI 1321上提供该组件1311。智能电话1310可在组件1311上显示保护层1313。
因此，用户可更方便地向另一个用户发送消息或从另一个用户接收消息，即使在公共场合也无需担心消息泄露。此外，根据本发明，HMD和外部设备可防止数据对外展示，因此增强了安全性。
图14示出了根据本发明的外部设备是自动取款机(ATM)的进一步的实施例。
ATM安装在公共场合。因此，当用户在ATM 1410的第一界面1411上输入帐户的口令时，用户应当时刻小心以免口令被暴露给附近的人。
因此，HMD 1420可识别在第一UI 1411上输入口令所需的组件并在第二UI 1421上提供该识别了的组件。第二UI 1421可覆盖在第一UI 1411上。因此，用户可处理ATM，同时查看第一和第二UI 1411和1421。因此，用户便捷性可被增强。
由于ATM 1410接收到用户输入，第一UI 1411可显示保护层1413使得附近的人不能标识输入数据。
图15示出了例示根据本发明一实施例的用于控制HMD的方法的流程图。参见图15，以下将描述用于控制通过网络连接到外部设备的HMD以保护个人信息的方法。
参见图15，HMD可检测由传感器单元所捕捉的图像中的外部设备(S1500)。HDM可通过处理已捕捉的图像或使用HMD的位置和方向以及外部设备的位置来检测外部设备。外部设备通过网络连接到HMD。外部设备覆盖可显示第一UI的全部可能的设备。
HMD可识别外部设备的第一UI至少一个组件(S1510)。如前面参考图4描述的，该至少一个组件可包括键区、用于输出对应于针对键区的输入信号的数据的窗口、包括至少一个选择项的用户菜单、以及用于显示预设数据的窗口中的至少一者。
此外，HMD可通过以下识别第一UI的该至少一个组件：使用HMD捕捉的图像的图像处理和识别方法(如前面参考图6所描述的)，或使用从外部设备接收到的组件信息。
如前面参考图5、6和7描述的，HMD可生成并显示包括所识别的至少一个组件的第二UI(S1520)。使用已从中检测到外部设备的图像，所显示的第二UI可被覆盖在显示在第一UI上的第一UI上。
如前面参考图8所描述的，外部设备可在用第二UI覆盖的第一UI的组件上显示保护层。第一UI可包括用于根据用户输入调整保护层的显示属性的界面，如前面参考图10所描述的。
HMD可在第二UI上显示对应于当前在外部设备上接收的输入信号的数据，如前面参考图5所描述的(S1530)。因此，HMD和通过网络与HMD交互的外部设备可减少将针对外部设备的数据输入暴露给附近的人的风险。
发明的模式
各种实施例已按照实现本发明的最佳模式来被描述。
工业适用性
本发明提供了HMD及其控制方法。
尽管为方便起见本发明参考各图进行了描述，新实施例可通过图中描述的各实施例来被实现。在需要时，设计计算机可读的记录介质(其上写有用于实现前面描述的本发明的各实施例的程序)可落入本发明的范围。
根据前述示例实施例的HMD及其控制方法不限于在此详述的示例实施例。因此在此详述的示例实施例的变体和组合可落入本发明的范围。
根据前述示例实施例的用于控制HMD的方法可被实现为写在计算机可读记录介质上并因此被处理器读取的代码。计算机可读记录介质可以是任何类型的记录设备，其中数据以计算机可读形式存储。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储，和载波(例如，经由互联网的数据传输)。计算机可读记录介质可分布在连接到网络的多个计算机系统上，使得计算机可读代码被写入并从中以去中心化的方式执行。用于实现各实施例的程序、代码，和代码段可被本领域技术人员解释。
尽管参考示例实施例来具体地示出并描述了本发明，但本领域的技术人员可以理解，可以作出形式和细节上的各种改变而不脱离如所附权利要求书中所定义的本发明的精神和范围。

Claims (20)

1.一种用于控制头戴式显示器(HMD)的方法，所述方法包括：
在由所述HMD捕捉到的图像中检测外部设备；
从所述外部设备的第一用户界面(UI)识别至少一个组件，所述至少一个组件包括键区或用于输出对应于针对所述键区的输入信号的数据的窗口；
生成包括所识别的至少一个组件的第二UI；
在所述HMD中显示所述第二UI，
其中被显示在所述外部设备上的所述第一UI的所述至少一个组件被所显示的第二UI使用来自从中检测所述外部设备的所述图像来覆盖；
在所述HMD中的所述第二UI上显示对应于当前在所述外部设备上接收的输入信号的数据。
2.如权利要求1所述的方法，其特征在于，所述外部设备在用所述第二UI覆盖的所述第一UI的组件上显示保护层。
3.如权利要求2所述的方法，其特征在于，如果键区被包括为所述第二UI中的组件，则所述保护层包括所述第一UI的所述组件的轮廓。
4.如权利要求2所述的方法，其特征在于，如果所述键区被包括为所述第二UI中的组件，则所述第一UI提供对应于用户针对在所述第一UI中显示了所述保护层的所述组件的触摸输入的触觉反馈。
5.如权利要求2所述的方法，其特征在于，进一步包括：
如果键区被包括作为所述第一UI中的组件，则使用由所述HMD捕捉到的图像检测用户在所述外部设备上的抓握的形状；以及
根据所检测到的抓握形状在所述第二UI上提供预设组件，
其中，所述预设组件包括具有根据所检测的抓握形状调整了的布局的键区。
6.如权利要求5所述的方法，其特征在于，所述保护层包括根据所检测的抓握形状的所述预设组件的轮廓，且包括在所述保护层中的所述轮廓用所述第二UI提供的所述预设组件来覆盖。
7.如权利要求6所述的方法，其特征在于，所述第一UI提供对应于用户对所述保护层的触摸输入的触觉反馈，且所述触觉反馈根据包括在所述保护层中的轮廓进行调整。
8.如权利要求2所述的方法，其特征在于，所述第一UI包括用于根据用户输入调整所述保护层的显示属性的界面。
9.如权利要求8所述的方法，其特征在于，所述显示属性包括亮度、色度和透明度的至少一个。
10.如权利要求1所述的方法，其特征在于，识别至少一个组件的步骤在当所述外部设备处在保护模式时执行，并且所述外部设备的模式包括所述保护模式和普通模式。
11.如权利要求10所述的方法，其特征在于，进一步包括：
提取关于当前被显示在所述外部设备上的内容的属性信息；以及
根据所提取的属性信息在所述外部设备的各模式之间切换。
12.如权利要求10所述的方法，其特征在于，进一步包括：
如果所述外部设备显示所述第一UI，则将所述外部设备的模式从所述普通模式切换到所述保护模式。
13.如权利要求10所述的方法，其特征在于，进一步包括：
检测所述用户正戴着所述HMD；以及
如果检测到所述用户正戴着所述HMD，则将所述外部设备的模式从所述普通模式切换到所述保护模式。
14.如权利要求10所述的方法，其特征在于，进一步包括，如果所述外部设备接收请求数据保护的用户输入，则将所述外部设备的模式从所述普通模式切换到所述保护模式。
15.一种头戴式显示器(HMD)，包括：
配置用于控制所述HMD的操作的处理器；
配置用于输出图像的显示单元；
配置用于向外部设备发送数据并从所述外部设备接收数据的通信单元；以及
配置用于检测图像并向所述处理器提供所捕捉的图像的传感器单元，
其中所述处理器配置用于检测由HMD捕捉的图像中的外部设备，从所述外部设备的第一用户界面(UI)识别至少一个组件，所述至少一个组件包括键区或用于输出对应于针对所述键区的输入信号的数据的窗口，生成包括所识别的至少一个组件的第二UI，显示所述第二UI使得被显示在外部设备上的所述第一UI的所述至少一个组件用所显示的第二UI来覆盖，并在所述第二UI上显示对应于当前在所述外部设备上接收的输入信号的数据。
16.如权利要求15所述的HMD，其特征在于，所述外部设备显示用所述第二UI覆盖的所述第一UI的组件上的保护层。
17.如权利要求16所述的HMD，其特征在于，如果键区被包括为所述第二UI中的组件，则所述保护层包括用所述第二UI覆盖的所述第一UI的所述组件的轮廓。
18.如权利要求16所述的HMD，其特征在于，如果所述键区被包括为所述第二UI中的组件，则所述第一UI提供对应于用户针对在所述第一UI中显示了所述保护层的所述组件的触摸输入的触觉反馈。
19.如权利要求16所述的HMD，其特征在于，所述第一UI包括用于根据用户输入调整所述保护层的显示属性的界面。
20.如权利要求15所述的HMD，其特征在于，当所述外部设备处在保护模式时，所述处理器识别所述UI的至少一个组件，且所述外部设备的模式包括所述保护模式和普通模式。
CN201380070790.4A 2012-11-20 2013-01-03 头戴式显示器及其控制方法 Active CN105026982B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020120131673A KR101991133B1 (ko) 2012-11-20 2012-11-20 헤드 마운트 디스플레이 및 그 제어 방법
KR10-2012-0131673 2012-11-20
US13/728,793 US8502780B1 (en) 2012-11-20 2012-12-27 Head mount display and method for controlling the same
US13/728,793 2012-12-27
PCT/KR2013/000016 WO2014081076A1 (en) 2012-11-20 2013-01-03 Head mount display and method for controlling the same

Publications (2)

Publication Number Publication Date
CN105026982A true CN105026982A (zh) 2015-11-04
CN105026982B CN105026982B (zh) 2017-11-07

Family

ID=48876382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380070790.4A Active CN105026982B (zh) 2012-11-20 2013-01-03 头戴式显示器及其控制方法

Country Status (6)

Country Link
US (2) US8502780B1 (zh)
EP (3) EP3098643A1 (zh)
JP (1) JP6220889B2 (zh)
KR (1) KR101991133B1 (zh)
CN (1) CN105026982B (zh)
WO (1) WO2014081076A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577335A (zh) * 2016-07-05 2018-01-12 三星电子株式会社 电子装置及其屏幕显示方法
CN108038916A (zh) * 2017-12-27 2018-05-15 上海徕尼智能科技有限公司 一种增强现实的显示方法
CN108140080A (zh) * 2015-12-09 2018-06-08 华为技术有限公司 一种显示的方法、装置及系统
CN109074154A (zh) * 2016-06-29 2018-12-21 谷歌有限责任公司 增强和/或虚拟现实中的悬停触摸输入补偿
CN109799937A (zh) * 2019-02-25 2019-05-24 努比亚技术有限公司 一种输入控制方法、设备及计算机可读存储介质
CN110045935A (zh) * 2017-12-22 2019-07-23 精工爱普生株式会社 处理装置、显示系统以及记录介质
CN113050279A (zh) * 2019-12-26 2021-06-29 精工爱普生株式会社 显示系统、显示方法以及记录介质
CN113791708A (zh) * 2021-08-13 2021-12-14 维沃移动通信有限公司 屏幕隐私保护方法、装置及电子设备

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781452B2 (en) 2011-02-21 2014-07-15 Motorola Mobility Llc Wireless devices and methods of operating wireless devices based on the presence of another person
JP2014219448A (ja) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 表示システム、表示方法、表示端末および表示プログラム
JP6255731B2 (ja) * 2013-06-17 2018-01-10 コニカミノルタ株式会社 表示システム、表示方法および表示端末
WO2016117970A1 (en) * 2015-01-23 2016-07-28 Lg Electronics Inc. Head mounted display and method of controlling therefor
US9575721B2 (en) 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
US9466266B2 (en) * 2013-08-28 2016-10-11 Qualcomm Incorporated Dynamic display markers
US9158115B1 (en) * 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
KR102077223B1 (ko) * 2013-10-11 2020-02-14 삼성전자주식회사 도어 락 장치, 디스플레이 장치, 모바일 디바이스 및 그 제어 방법
US20150130688A1 (en) * 2013-11-12 2015-05-14 Google Inc. Utilizing External Devices to Offload Text Entry on a Head Mountable Device
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9690763B1 (en) 2013-12-17 2017-06-27 Bryant Christopher Lee Display of webpage elements on a connected computer
US8856948B1 (en) * 2013-12-23 2014-10-07 Google Inc. Displaying private information on personal devices
US9536067B1 (en) 2014-01-01 2017-01-03 Bryant Christopher Lee Password submission without additional user input
US8811951B1 (en) * 2014-01-07 2014-08-19 Google Inc. Managing display of private information
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
JP2015210580A (ja) * 2014-04-24 2015-11-24 エイディシーテクノロジー株式会社 表示システム及びウェアラブル機器
KR101564511B1 (ko) * 2014-05-26 2015-10-29 고려대학교 산학협력단 타겟 전자장치의 제어 방법 및 장치
KR101476217B1 (ko) 2014-05-28 2014-12-24 엘지전자 주식회사 황색 발광 형광체 및 이를 이용한 발광 소자 패키지
US20220171530A1 (en) * 2014-06-11 2022-06-02 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US9679538B2 (en) * 2014-06-26 2017-06-13 Intel IP Corporation Eye display interface for a touch display device
KR20160005899A (ko) 2014-07-08 2016-01-18 엘지전자 주식회사 디지털 이미지 처리 장치, 시스템 및 제어 방법
KR102308970B1 (ko) * 2014-08-06 2021-10-07 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법
JP6368579B2 (ja) * 2014-08-05 2018-08-01 株式会社日立エルジーデータストレージ 映像投射装置及びこれを用いたヘッドマウントディスプレイ
DE102014011853A1 (de) * 2014-08-08 2016-02-11 Giesecke & Devrient Gmbh Verfahren zum Durchführen einer Finanztransaktion
KR102271833B1 (ko) 2014-09-01 2021-07-01 삼성전자주식회사 전자 장치, 그 제어 방법 및 기록 매체
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
US20180285573A1 (en) * 2014-11-14 2018-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Visual cryptography and obfuscation using augmented reality
US9933985B2 (en) * 2015-01-20 2018-04-03 Qualcomm Incorporated Systems and methods for managing content presentation involving a head mounted display and a presentation device
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US9565176B2 (en) * 2015-03-10 2017-02-07 Citrix Systems, Inc. Multiscreen secure content access
US9760790B2 (en) 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
EP3136275A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Digital authentication using augmented reality
US10380966B2 (en) * 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US10133532B2 (en) * 2015-09-25 2018-11-20 Seiko Epson Corporation Display system, display device, information display method, and program
KR102356345B1 (ko) * 2016-04-20 2022-01-28 삼성전자주식회사 전자 장치 및 그 제어 방법
US20170364920A1 (en) * 2016-06-16 2017-12-21 Vishal Anand Security approaches for virtual reality transactions
EP3296940A4 (en) 2016-07-15 2018-11-14 Brainy Inc. Virtual reality system and information processing system
DE102016116774A1 (de) 2016-09-07 2018-03-08 Bundesdruckerei Gmbh Datenbrille zum Interagieren mit einem Nutzer
WO2018106675A1 (en) * 2016-12-09 2018-06-14 Thomson Licensing Method and apparatus for providing a virtual reality scene
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
JP6719776B2 (ja) * 2017-02-08 2020-07-08 ブレイニー株式会社 仮想現実システム
US10311249B2 (en) 2017-03-31 2019-06-04 Google Llc Selectively obscuring private information based on contextual information
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10313148B1 (en) * 2017-06-29 2019-06-04 State Farm Mutual Automobile Insurance Company Configuring a device for movement-based control
US10355875B1 (en) * 2017-06-29 2019-07-16 State Farm Mutual Automobile Insurance Company Utilizing movement-based control data
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10803832B2 (en) * 2017-08-01 2020-10-13 Samsung Electronics Co., Ltd. Synchronizing holographic displays and 3D objects with physical video panels
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
JP2019091118A (ja) * 2017-11-10 2019-06-13 パナソニックＩｐマネジメント株式会社 情報処理装置
US10776475B2 (en) * 2017-11-13 2020-09-15 International Business Machines Corporation Secure password input in electronic devices
US11455035B2 (en) 2018-04-19 2022-09-27 Hewlett-Packard Development Company, L.P. Inputs to virtual reality devices from touch surface devices
US10504289B2 (en) * 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
JP6940702B2 (ja) * 2018-06-25 2021-09-29 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
JP2020067955A (ja) * 2018-10-26 2020-04-30 セイコーエプソン株式会社 表示システム、デバイス、プログラム、及びデバイスの制御方法
WO2020101390A1 (en) * 2018-11-14 2020-05-22 Samsung Electronics Co., Ltd. Wearable device for displaying content, and method thereof
JP7138028B2 (ja) 2018-11-29 2022-09-15 株式会社日立製作所 表示制御システム、表示装置、及び表示制御方法
US11544370B1 (en) * 2018-12-27 2023-01-03 Worldpay, Llc Methods and systems for acoustic authentication
JP7243193B2 (ja) * 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
EP3690609B1 (en) * 2019-01-30 2021-09-22 DENTSPLY SIRONA Inc. Method and system for controlling dental machines
KR102356623B1 (ko) * 2019-02-01 2022-01-28 삼성전자주식회사 가상 비서 전자 장치 및 그 제어 방법
CN111913562A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
JP7279159B2 (ja) * 2019-05-29 2023-05-22 マクセル株式会社 個人情報表示装置及びその処理方法
CN111176454B (zh) * 2020-01-07 2021-09-03 福建天晴数码有限公司 结合摄像头的终端锁屏方法、存储介质
CN111241510B (zh) * 2020-01-07 2021-09-07 福建天晴数码有限公司 基于指纹识别的终端屏幕控制方法、存储介质
CN111240566B (zh) * 2020-01-07 2021-09-03 福建天晴数码有限公司 基于蓝牙的终端屏幕控制方法、存储介质
WO2021236170A1 (en) 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
US11106328B1 (en) 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム
JP2022126548A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101907921A (zh) * 2009-06-08 2010-12-08 联想(北京)有限公司 一种便携设备及其状态调整方法
US20110018903A1 (en) * 2004-08-03 2011-01-27 Silverbrook Research Pty Ltd Augmented reality device for presenting virtual imagery registered to a viewed surface
CN102375652A (zh) * 2010-08-16 2012-03-14 中国移动通信集团公司 移动终端用户界面调整系统及其调整方法
US20120218188A1 (en) * 2011-02-24 2012-08-30 Tatsuki Kashitani Information processing apparatus, information processing method, and terminal apparatus
CN102662585A (zh) * 2012-04-06 2012-09-12 潘晓雷 一种自适应调整屏幕触控输入范围的方法和移动终端
CN102694915A (zh) * 2012-05-18 2012-09-26 广州市渡明信息技术有限公司 用于具有触摸屏幕的手机的显示控制方法及系统
US20130069985A1 (en) * 2011-09-21 2013-03-21 Google Inc. Wearable Computer with Superimposed Controls and Instructions for External Device

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9608175D0 (en) * 1996-04-19 1996-06-26 Ncr Int Inc Method of controlling veiwability of a display screen and a device therefor
JPH10240186A (ja) * 1997-02-28 1998-09-11 Toshiba Corp 表示制御装置および表示制御方法
GB9724781D0 (en) * 1997-11-24 1998-01-21 Ncr Int Inc Visual displays
US6154210A (en) * 1998-11-25 2000-11-28 Flashpoint Technology, Inc. Method and system for implementing button interface compatibility in touch-screen equipped digital imaging device
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
JP3858091B2 (ja) * 2002-10-03 2006-12-13 独立行政法人産業技術総合研究所 パスワード認証装置およびパスワード認証方法
US8141159B2 (en) 2002-12-31 2012-03-20 Portauthority Technologies Inc. Method and system for protecting confidential information
US7253791B2 (en) * 2003-11-13 2007-08-07 International Business Machines Corporation Selective viewing enablement system
WO2005066744A1 (en) * 2003-12-31 2005-07-21 Abb Research Ltd A virtual control panel
US7616764B2 (en) * 2004-07-07 2009-11-10 Oracle International Corporation Online data encryption and decryption
US20070236474A1 (en) * 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
EP2148312A4 (en) * 2007-05-21 2011-09-21 Sharp Kk DISPLAY AND VIEW ANGLE CONTROL ELEMENT USED FOR SAID DISPLAY
JP2009245392A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
WO2009130985A1 (ja) 2008-04-23 2009-10-29 コニカミノルタホールディングス株式会社 情報入力システム
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8793694B2 (en) * 2009-02-26 2014-07-29 International Business Machines Corporation Policy driven autonomic performance data collection
KR20110044080A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 디스플레이장치 및 그 영상표시방법과 입체안경 및 그 구동방법
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9586147B2 (en) 2010-06-23 2017-03-07 Microsoft Technology Licensing, Llc Coordinating device interaction to enhance user experience
WO2012076062A1 (en) * 2010-12-10 2012-06-14 Sony Ericsson Mobile Communications Ab Touch sensitive haptic display
US8044942B1 (en) * 2011-01-18 2011-10-25 Aevoe Inc. Touch screen protector
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
US20120306790A1 (en) * 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US20130321452A1 (en) * 2012-05-30 2013-12-05 Honeywell International Inc. System and method for protecting the privacy of objects rendered on a display
US9720231B2 (en) * 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110018903A1 (en) * 2004-08-03 2011-01-27 Silverbrook Research Pty Ltd Augmented reality device for presenting virtual imagery registered to a viewed surface
CN101907921A (zh) * 2009-06-08 2010-12-08 联想(北京)有限公司 一种便携设备及其状态调整方法
CN102375652A (zh) * 2010-08-16 2012-03-14 中国移动通信集团公司 移动终端用户界面调整系统及其调整方法
US20120218188A1 (en) * 2011-02-24 2012-08-30 Tatsuki Kashitani Information processing apparatus, information processing method, and terminal apparatus
US20130069985A1 (en) * 2011-09-21 2013-03-21 Google Inc. Wearable Computer with Superimposed Controls and Instructions for External Device
CN102662585A (zh) * 2012-04-06 2012-09-12 潘晓雷 一种自适应调整屏幕触控输入范围的方法和移动终端
CN102694915A (zh) * 2012-05-18 2012-09-26 广州市渡明信息技术有限公司 用于具有触摸屏幕的手机的显示控制方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140080A (zh) * 2015-12-09 2018-06-08 华为技术有限公司 一种显示的方法、装置及系统
CN109074154A (zh) * 2016-06-29 2018-12-21 谷歌有限责任公司 增强和/或虚拟现实中的悬停触摸输入补偿
CN109074154B (zh) * 2016-06-29 2021-08-31 谷歌有限责任公司 增强和/或虚拟现实中的悬停触摸输入补偿
CN107577335B (zh) * 2016-07-05 2022-03-25 三星电子株式会社 电子装置及其屏幕显示方法
CN107577335A (zh) * 2016-07-05 2018-01-12 三星电子株式会社 电子装置及其屏幕显示方法
CN110045935A (zh) * 2017-12-22 2019-07-23 精工爱普生株式会社 处理装置、显示系统以及记录介质
CN110045935B (zh) * 2017-12-22 2022-07-26 精工爱普生株式会社 处理装置、显示系统以及记录介质
CN108038916A (zh) * 2017-12-27 2018-05-15 上海徕尼智能科技有限公司 一种增强现实的显示方法
CN108038916B (zh) * 2017-12-27 2022-12-02 上海徕尼智能科技有限公司 一种增强现实的显示方法
CN109799937B (zh) * 2019-02-25 2021-06-15 努比亚技术有限公司 一种输入控制方法、设备及计算机可读存储介质
CN109799937A (zh) * 2019-02-25 2019-05-24 努比亚技术有限公司 一种输入控制方法、设备及计算机可读存储介质
CN113050279A (zh) * 2019-12-26 2021-06-29 精工爱普生株式会社 显示系统、显示方法以及记录介质
CN113050279B (zh) * 2019-12-26 2024-04-02 精工爱普生株式会社 显示系统、显示方法以及记录介质
CN113791708A (zh) * 2021-08-13 2021-12-14 维沃移动通信有限公司 屏幕隐私保护方法、装置及电子设备

Also Published As

Publication number Publication date
EP3098643A1 (en) 2016-11-30
EP2923232A1 (en) 2015-09-30
EP3223061B1 (en) 2019-10-09
US8502780B1 (en) 2013-08-06
US9804686B2 (en) 2017-10-31
CN105026982B (zh) 2017-11-07
EP3223061A1 (en) 2017-09-27
US20140139439A1 (en) 2014-05-22
EP2923232A4 (en) 2015-11-25
KR101991133B1 (ko) 2019-06-19
WO2014081076A1 (en) 2014-05-30
JP2016506530A (ja) 2016-03-03
JP6220889B2 (ja) 2017-10-25
EP2923232B1 (en) 2017-03-29
KR20140064384A (ko) 2014-05-28

Similar Documents

Publication Publication Date Title
CN105026982A (zh) 头戴式显示器及其控制方法
EP3540578B1 (en) Mobile terminal and method for controlling the same
JP2021157837A (ja) 通知処理方法、電子デバイス、コンピュータ可読記憶媒体、およびプログラム
US10423306B2 (en) Mobile terminal and control method thereof
EP3148166B1 (en) Mobile terminal and control method for the mobile terminal
US9310996B2 (en) Mobile terminal and method for providing user interface thereof
US10185492B2 (en) Mobile terminal and method for controlling the same
US20180189468A1 (en) Mobile terminal and method for controlling same
EP2418859A2 (en) Method for controlling depth of image and mobile terminal using the method
EP2704461B1 (en) Mobile terminal and control method thereof
US9877192B2 (en) Mobile terminal and method of controlling the same
US10088945B2 (en) Mobile terminal and method for controlling the same
WO2019206039A1 (zh) 未读消息处理方法及终端
KR20150050825A (ko) 보안 정보를 포함하는 컨텐츠의 표시 방법 및 시스템
US20160259622A1 (en) Mobile terminal and method for controlling the same
EP2680134A1 (en) Mobile terminal and control method thereof
US20170083208A1 (en) Mobile terminal and control method thereof
EP3131274B1 (en) Mobile terminal for solving a user error or trouble and method of controlling the same
KR101359874B1 (ko) 가상입력수단을 이용하는 일회용 패스워드 생성 장치 및 생성 방법
KR20140064116A (ko) 휴대 단말기 및 그 동작 방법
EP3454249B1 (en) Electronic device including display and method of providing private information
KR20150107098A (ko) 이동 단말기 및 이의 제어 방법
KR20130032194A (ko) 전자 기기, 그것의 계정 관리 방법, 및 그것을 이용한 계정 관리 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant