CN104238739A - 基于眼睛跟踪的可见度提高方法和电子装置 - Google Patents

基于眼睛跟踪的可见度提高方法和电子装置 Download PDF

Info

Publication number
CN104238739A
CN104238739A CN201410257721.0A CN201410257721A CN104238739A CN 104238739 A CN104238739 A CN 104238739A CN 201410257721 A CN201410257721 A CN 201410257721A CN 104238739 A CN104238739 A CN 104238739A
Authority
CN
China
Prior art keywords
user
image
visibility
focal
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410257721.0A
Other languages
English (en)
Other versions
CN104238739B (zh
Inventor
金明植
金昌容
韩益祥
金俊佑
金珍湖
吴润济
郑善太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201910012472.1A priority Critical patent/CN109683716B/zh
Priority to CN201910012778.7A priority patent/CN109739361B/zh
Publication of CN104238739A publication Critical patent/CN104238739A/zh
Application granted granted Critical
Publication of CN104238739B publication Critical patent/CN104238739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

本发明提供一种基于眼睛跟踪的可见度提高方法和电子装置。利用凝视跟踪的可见度提高方法包括：通过相机检测用户的凝视；从通过电子装置的显示单元查看的至少一个对象中确定用户凝视的聚焦对象；在显示单元上显示与聚焦对象相应的并且比聚焦对象具有更高可见度的具有高可见度的图像。

Description

基于眼睛跟踪的可见度提高方法和电子装置
技术领域
本发明总体上涉及一种用于处理由相机所拍摄的图像的方法，更具体地讲，涉及一种用于基于用户的凝视来处理图像的方法。
背景技术
通常，随着使用相机的凝视跟踪技术的发展，出现了如下技术：通过跟踪用户的凝视以放大或缩小显示在屏幕上且正被聚焦的对象或者在正被聚焦的对象周围显示相关信息，来提供针对用户的兴趣定制的信息。
例如，可以存在如下技术：当用户凝视屏幕上的预定部分时，跟踪用户的凝视，并放大或缩小该预定部分。
作为另一示例，当用户凝视运动场上的运动员时，可显示与每个运动员相关联的信息，或者可在历史古迹中显示与古文物相关联的信息。当用户聚焦于预定区域时，传统技术通过放大预定区域或显示相关文本信息而向用户提供详细信息。然而，当在屏幕上显示的图像或在用户实际上通过附着到面部上的相机而凝视对象的环境中拍摄的图像等具有低分辨率，或者由于不足的环境光量而导致图像较暗，或者由于不足的曝光而导致图像不清晰，或者距诸如符号等期望对象的距离较远时，传统技术即使放大图像也难以向用户提供期望的视觉信息。
此外，通过文本显示与目标对象相关联的信息的技术可提供在视觉信息中未出现的详细信息，但是不可提供实际对象的详细视觉信息(诸如外观、颜色等)。
发明内容
做出本发明以至少部分地解决、减小或去除与现有技术相关的问题和/或缺点中的至少一个，并至少提供下面描述的优点。
因此，本发明的一方面在于改进放大现有图像并显示文本信息的信息提供方法，并通过跟踪用户的凝视，确定聚焦对象，再现图像或使用相关图像替代图像等来提供高可见度图像，以使用户能够容易地识别对象并向用户提供丰富视觉信息。
根据本发明的一方面，提供一种利用凝视跟踪提高可见度的方法，所述方法包括：通过相机检测用户的凝视；从通过电子装置的显示单元查看的至少一个对象或在透明显示器中在用户的凝视的延长线上的对象等中确定用户凝视的聚焦对象；在显示单元上显示与聚焦对象对应的并且比聚焦对象具有更高可见度的具有高可见度的图像。例如，具有更高可见度的图像(即，与聚焦对象对应的高可见度图像)可比具体地讲先前显示的与聚焦对象对应的图像(例如，检索到的或先前拍摄的图像)具有更高的分辨率、更高的清晰度和更高的亮度中的至少一个。
根据本发明的另一方面，提供一种电子装置，包括：相机，拍摄用户的眼睛；显示单元，显示至少一个对象；控制器，从拍摄的用户的眼睛检测用户的凝视，从所述至少一个对象中确定用户凝视的聚焦对象，并通过显示单元显示与聚焦对象对应的并且比聚焦对象具有更高可见度的具有高可见度的图像。
根据本发明的另一方面，提供一种其上记录有程序的机器可读存储介质，其中，当所述程序被执行时，执行使用凝视跟踪提高可见度的方法，所述方法包括：通过相机检测用户的凝视；从通过电子装置的显示单元查看的至少一个对象中确定用户凝视的聚焦对象；在显示单元上显示与聚焦对象对应的并且比聚焦对象具有更高可见度的具有高可见度的图像。
根据本发明的另一方面，提供一种包括其上记录有程序的机器可读存储介质的电子装置，其中，当所述程序被执行时，执行使用凝视跟踪提高可见度的方法，所述方法包括：通过相机检测用户的凝视；从通过电子装置的显示单元查看的至少一个对象中确定用户凝视的聚焦对象；在显示单元上显示与聚焦对象对应的并且比聚焦对象具有更高可见度的具有高可见度的图像。
根据本发明的另一方面，提供一种可佩戴电子装置，包括：用于将可佩戴电子装置布置在用户的身体上的装置；至少一个相机，拍摄用户的眼睛；至少一个显示单元，显示至少一个对象；控制器，被配置为从拍摄的用户的眼睛检测凝视，从所述至少一个对象中确定用户凝视的聚焦对象，并通过显示单元显示与聚焦对象对应的并且比聚焦对象具有更高可见度的具有高可见度的图像。
附图说明
从下面结合附图进行的详细描述，本发明的上述和其他方面、特征和优点将更加清楚，在附图中：
图1是示出根据本发明的第一实施例的第一电子装置的框图；
图2是根据本发明的第一实施例的第一电子装置的前侧透视图；
图3是根据本发明的第一实施例的第一电子装置的后侧透视图；
图4是根据本发明的第二实施例的从外侧查看的第二电子装置的透视图；
图5是从内侧查看的第二电子装置的透视图；
图6是第二电子装置的电路构造的框图；
图7是示出根据本发明的第一实施例的使用凝视跟踪的可见度提高方法的流程图；
图8A和图8B示出用户的眼睛；
图9A和图9B示出基于面部表情确定用户是否聚焦于对象的方法；
图10是示出根据本发明的第一实施例的检测聚焦对象的方法的示图；
图11是示出根据本发明的第二实施例的检测聚焦对象的方法的示图；
图12是示出根据本发明的第三实施例的检测聚焦对象的方法的示图；
图13A至图13C示出根据本发明的第一实施例的显示高可见度图像的方法；
图14A至图14C示出根据本发明的第二实施例的显示高可见度图像的方法；
图15A和图15B示出根据本发明的第三实施例的显示高可见度图像的方法；
图16A至图16C示出根据本发明的第四实施例的显示高可见度图像的方法；
图17是示出服务器的配置的框图；
图18A至图18B以及图19A至图19B示出根据本发明的第五实施例的显示高可见度图像的方法；
图20A和图20B示出根据本发明的第六实施例的显示高可见度图像的方法；
图21A和图21B示出根据本发明的实施例的中断高可见度图像的显示的方法；
图22是示出根据本发明的第二实施例的使用凝视跟踪的可见度提高方法的流程图；
图23是示出根据本发明的第三实施例的使用凝视跟踪的可见度提高方法的流程图；
图24A至图24C示出聚焦对象的改变。
具体实施方式
本发明可具有各种修改和各种实施例，现在将参照附图更充分地描述特定实施例。然而，应当理解，不意图将本发明限制于所述特定实施例，而是相反，本发明覆盖落入在此描述的范围内的所有修改、等同形式和替代形式。
虽然包括诸如第一、第二等序数的术语可用于描述各种元件，但是这些元件不受这些术语限制。这些术语仅用于区分一个元件与另一个元件。例如，在不脱离本发明的范围的情况下，第一结构元件可被称为第二结构元件。类似地，第二结构元件也可被称为第一结构元件。如在此使用的，术语“和/或”包括相关列出项中的一个或更多个的任何和所有组合。
在本申请中使用的术语仅为了描述具体实施例的目的，而不意图限制本发明。除非上下文另外清楚地指示，否则单数形式意图包括复数形式。在描述中，应当理解，术语“包括”或“具有”指示存在特征、数字、步骤、操作、结构元件、部件或其组合，并且不预先排除存在一个或更多个其他特征、数字、步骤、操作、结构元件、部件或其组合，或者不预先排除添加一个或更多个其他特征、数字、步骤、操作、结构元件、部件或其组合的可能性。
除非不同地定义，否则在此使用的包括技术术语或科学术语的所有术语具有与本发明所属领域的技术人员所理解的含义相同的含义。除非在本说明书中清楚地定义，否则如在通用字典中定义的这样的术语应被解释为具有与相关技术领域中的上下文含义等同的含义，并且不应被解释为具有理想或过于正式的含义。
本发明的电子装置可以是特定装置，并且可被称为便携式装置、移动终端、通信终端、便携式通信终端、便携式移动终端等。
例如，电子装置可以是智能电话、便携式电话、游戏机、电视、显示单元、用于车辆的平视显示单元、笔记本电脑、膝上型计算机、平板个人计算机(PC)、个人媒体播放器(PMP)、个人数字助理(PDA)等。电子装置可被实现为包括无线通信功能的附接式通信终端或超小型便携式通信终端。此外，电子装置可以是柔性装置、柔性显示装置、透明显示装置等。
根据本发明的实施例的电子装置可以是便携式终端，并且必要时，可在电子装置的代表性配置中省略或改变一些组成元件。
图1是示出根据本发明的第一实施例的第一电子装置的框图，图2是根据本发明的第一实施例的第一电子装置的前侧透视图(在本申请中前侧表示在正常使用中面向用户的侧)，图3是根据本发明的第一实施例的第一电子装置的后侧透视图(在本申请中后侧表示在正常使用中与面向用户的侧相对的侧)。
参照图1，第一电子装置100可通过通信模块120、连接器等连接到外部电子装置。外部电子装置可包括可无线地连接的蓝牙通信单元、近场通信(NFC)单元、WiFi直连通信单元和无线接入点(AP)。此外，第一电子装置100可以以有线或无线方式与另一便携式终端或另一电子装置(例如，便携式电话、智能电话、平板个人计算机(PC)、台式PC和服务器之一)连接。
参照图1，第一电子装置100包括至少一个触摸屏190。此外，第一电子装置100包括控制器110、通信模块120、相机模块150、输入/输出模块160、第一传感器模块170和存储单元175。
控制器110可包括CPU111、ROM112和RAM113，其中，在ROM112中存储用于控制第一电子装置100的控制程序，RAM113存储从第一电子装置100的外部输入的信号或数据或者用作用于由第一电子装置100执行的操作的存储区域。CPU111可包括单核、双核、三核或四核。CPU111、ROM112和RAM113可通过内部总线彼此连接。
此外，控制器110控制通信模块120、相机模块150、输入/输出模块160、传感器模块170、存储单元175和触摸屏190。
控制器110检测使用输入装置(例如，用户的手指)输入的用户输入，其中，所述用户输入触摸或接近触摸屏190上的对象，或者在多个对象或项目显示在触摸屏190上的状态下被定位为靠近对象。控制器110识别与触摸屏190上产生用户输入的位置相应的对象。通过触摸屏190作出的用户输入包括直接触摸输入和与间接触摸输入相应的悬停输入之一，其中，直接触摸输入直接地触摸对象，间接触摸输入接近对象到预设识别范围内，但是不直接触摸对象。根据本发明，除了通过触摸屏190作出的用户输入之外，用户输入还包括通过相机模块150作出的手势输入、通过按钮161作出的开关/按钮输入、通过麦克风162作出的语音输入等。
在第一电子装置100的触摸屏190上显示或者可显示对象或项目(或功能项)。例如，对象或项目指示图像、应用、菜单、文档、微件、图片、视频、电子邮件、短消息服务(SMS)消息和多媒体消息服务(MMS)消息中的至少一种，并可通过用户输入装置被选择、执行、删除、取消、存储或改变。术语“项目”具有包含性含义，并包括按钮、图标(或快捷图标)、缩略图图像和在便携式终端中存储至少一个对象的文件夹。此外，项目可以以图像、文本等形式来显示。
快捷图标是在第一电子装置100的触摸屏190上显示的用于快速执行在第一电子装置100中基本提供的各个应用或语音呼叫、地址、菜单等的图像，并且当输入了用于执行快捷图标的命令或选择时，快捷图标执行相应应用。
当针对预设项目或对象或者基于预定方案产生了用户输入事件时，第一控制器110执行与用户输入事件相应的预定程序操作。
第一电子装置100根据其性能而包括移动通信模块121、无线LAN模块131和短距离通信模块132中的至少一个。
移动通信模块121在控制器110的控制下通过使用一个天线或多个天线而使第一电子装置100能够经由移动通信与外部电子装置连接。移动通信模块121通过由通信公司提供的通信网络，将用于语音呼叫、视频呼叫、SMS或MMS的无线信号发送到具有可输入到第一电子装置100中的电话号码的便携式电话、智能电话、平板PC或另一装置，和/或从上述装置接收所述无线信号。
子通信模块130包括无线LAN模块131和短距离通信模块132中的至少一个。例如，子通信模块130可仅包括无线LAN模块131，或仅包括短距离通信模块132。可选地，子通信模块130还可包括无线LAN模块131和短距离通信模块132两者。子通信模块130还可包括多个短距离通信模块。
无线LAN模块131可根据控制器110的控制在安装了无线接入点(AP)的地方连接到互联网。无线LAN模块131支持电气和电子工程师协会(IEEE)的无线LAN标准(IEEE802.11x)。短距离通信模块132在控制器110的控制下无线地执行第一电子装置100和外部电子装置之间的短距离通信。短距离通信方案可包括蓝牙通信、红外数据协会(IrDA)方案、Wi-Fi直连通信方案、近场通信(NFC)方案等。
相机模块150包括第一相机151和第二相机152中的至少一个，第一相机151和第二相机152根据控制器110的控制来拍摄静止图像或视频。此外，相机模块150还可包括提供拍摄对象所需的辅助光源的闪光灯153。第一相机151可布置在第一电子装置100的前侧上，第二相机152可布置在第一电子装置100的后侧上。
第一相机151和第二相机152中的每一个可包括透镜系统、图像传感器等。第一相机151和第二相机152中的每一个将通过透镜系统输入的(或拍摄的)光学信号转换为电图像信号(或数字图像)，并将转换的电图像信号输出到控制器110。随后，用户通过第一相机151和第二相机152拍摄视频或静止图像。
输入/输出模块160包括连接器和至少一个按钮161、至少一个麦克风162、至少一个扬声器163。
按钮161可以形成在电子装置100的外壳(或壳体)的前侧、侧面或后侧上，并可包括电源/锁定按钮、音量按钮、菜单按钮、主屏幕按钮、返回按钮和搜索按钮中的至少一个。
麦克风162根据控制器110的控制接收语音或声音，并产生电信号。
扬声器163在控制器110的控制下将与各种信号或数据(例如，无线数据、广播数据、数字音频数据、数字视频数据等)相应的声音输出到第一电子装置100的外部。连接器可用作将第一电子装置100与外部电子装置或电源连接的接口。控制器110可通过经由导线连接到连接器的线缆，将存储在第一电子装置100的存储单元175中的数据发送到外部电子装置，或者可从外部电子装置接收数据。
传感器模块170包括检测第一电子装置100的状态或周围环境状态的至少一个传感器。例如，传感器模块170可包括以下传感器中的至少一个传感器：检测用户是否接近第一电子装置100的接近传感器，检测第一电子装置100周围的光量的照度传感器，检测第一电子装置备100的运动(例如，第一电子装置100的旋转、加速度或振动)的运动传感器，检测第一电子装置100的旋转运动的陀螺仪，检测第一电子装置100的加速运动的加速计，通过使用地球的磁场检测第一电子装置100的罗盘的指向的地磁传感器，检测重力的牵引的方向的重力传感器，测量大气压以检测高度的高度计，GPS模块157，等。
此外，第一传感器模块170包括第一生物度量传感器(biometric sensor)171和第二生物度量传感器176。
参照图2，第一生物度量传感器171布置在第一电子装置100的前侧上，并且第一生物度量传感器171包括第一红外线光源172和第一红外线相机173。第一红外线光源172输出红外线，第一红外线相机173检测从对象反射的红外线。例如，第一红外线光源172可由矩阵结构的LED阵列形成。
例如，第一红外线相机可包括使红外光通过并阻挡除红外光的波长带以外的波长带中的光的滤波器、聚焦通过滤波器的红外光的透镜系统以及将透镜系统所形成的光学图像转换成电图像信号的图像传感器。例如，图像传感器可以以矩阵结构的PD阵列形成。
参照图3，第二生物度量传感器176布置在第一电子装置100的后侧上，并且第二生物度量传感器176具有与第一生物度量传感器171相同的构造，包括第二红外线光源177和第二红外线相机178。
GPS模块157从位于地球轨道中的多个GPS卫星接收电磁波，并通过使用从GPS卫星到第一电子装置100的到达时间来计算第一电子装置100的位置。
此外，存储单元175基于控制器110的控制，存储根据通信模块120、相机模块150、输入/输出模块160、传感器模块170和触摸屏190的操作而输入/输出的信号或数据。存储单元175存储用于第一电子装置100或控制器110的控制的控制程序和应用。
此外，存储单元175可存储：诸如导航、视频呼叫、游戏、基于时间的告警应用等的各种应用；用于提供与这些应用相关的图形用户界面(GUI)的图像；与用户信息、文档和使用凝视跟踪的可见度提高方法相关的数据库或数据；背景图像(诸如菜单屏幕、空闲屏幕等)或用于操作第一电子装置100的操作程序；由相机模块150拍摄的图像等。
此外，存储单元175存储根据本发明的用于使用凝视跟踪实现可见度提高方法的程序和相关数据。
存储单元175是机器(例如，计算机)可读介质，术语“机器可读介质”可被定义为用于将数据提供给机器使得机器可执行特定功能的介质。存储单元175可包括非易失性介质和易失性介质。所有这些介质应当是有形实体，使得介质所传输的命令可由机器读取命令所用的物理仪器检测。
计算机可读存储介质包括但不限于以下项中的至少一个：软盘、柔性盘、硬盘、磁带、致密盘只读存储器(CD-ROM)、光盘、打孔卡、纸带、RAM、可编程只读存储器(PROM)、可擦除PROM(EPROM)和闪速EPROM。
此外，第一电子装置100包括至少一个触摸屏190，触摸屏190向用户提供与各种服务(例如，电话呼叫、数据传输、广播和拍摄)相应的用户图形界面。
触摸屏190接收通过用户身体(例如，手指)或输入单元(例如，触控笔、电子笔等)作出的至少一个用户输入。
触摸屏190可接收一次触摸中的连续运动(即，拖曳输入)。在本说明书中使用的术语“触摸”不限于触摸屏190与手指或输入单元之间的接触，并可包括非接触(例如，用户输入装置位于用户输入装置在不直接接触触摸屏190的情况下可被检测到的识别距离(例如，1cm)内的情况)。
触摸屏190可被实现为电阻型、电容型、红外型、声波型、电磁谐振(EMR)型或其组合。
参照图2和图3，触摸屏190布置在第一电子装置100的前侧101的中心。触摸屏190可具有大尺寸以占据第一电子装置100的前侧101的大部分。
触摸键(诸如主屏幕按钮161a、菜单按钮161b、返回按钮161c等)、机械键或其组合可布置在触摸屏190的底部。此外，触摸键可被形成为触摸屏190的一部分。
主页屏幕通过主屏幕按钮161a显示在触摸屏190上。
菜单按钮161b提供可在触摸屏190上显示的连接菜单。连接菜单包括微件添加菜单、背景改变菜单、搜索菜单、编辑菜单、配置设置菜单等。
后退按钮161c可用于显示刚好在当前执行的屏幕之前执行的屏幕或者终止最后使用的应用。
第一相机151、照度传感器170a、接近传感器170b和第一生物度量传感器171可布置在第一电子装置100的前侧101的上部(即，在正常使用中的上部)。第二相机152、闪光灯153、扬声器163和第二生物度量传感器176可布置在第一电子装置100的后侧103上。
第一电子装置100的侧面102可包括例如电源/锁定按钮、包括音量增大按钮161f和音量减小按钮161g的音量按钮161e、一个或多个麦克风162等。
此外，连接器可形成在第一电子装置100的侧面的底端。多个电极形成在连接器上，并可通过导线连接到外部装置。
本发明提供一种使用凝视跟踪的可见度提高方法，并且该使用凝视跟踪的可见度提高方法可应用于一般触摸屏上的对象、通过透明触摸屏、增强现实、头戴式显示器(HMD)装置查看的环境对象等。
控制器110控制第一电子装置100的总体操作，并且控制器110控制第一电子装置100中的其他组成元件以执行根据本公开的使用凝视跟踪的可见度提高方法。
图4是根据本发明的第二实施例的从外侧查看的第二电子装置的透视图(在本申请中外侧表示在正常使用中与面向用户的侧相对的侧)，图5是从内侧查看的第二电子装置的透视图(在本申请中内侧表示在正常使用中面向用户的侧)。根据第二实施例的第二电子装置200是头戴式显示器(HMD)。
第二电子装置200的形状如一副眼镜，对应于便携式终端(或便携式通信终端)，并包括壳体10和壳体10中所包含的电路。
壳体10包括前框15以及第一支框(first temple frame)20和第二支框(second temple frame)21，其中，在前框15中固定有分别与左眼和右眼对应的第一窗口280和第二窗口285(例如，窗格或眼镜镜片)，第一支框20和第二支框21通过第一铰合部和第二铰合部向内折叠或向外展开。下文中，左眼和右眼可被称为第一眼睛和第二眼睛，第一窗口280和第二窗口285可被分别称为第一窗口面板和第二窗口面板。
第三相机260布置在前框15(即，将在用户头部的前面布置的框)的内侧上，第四相机265布置在前框15的外侧上。第三相机260和第四相机265布置在前框15的第一窗口280与第二窗口285之间的部分(即，一般眼镜的鼻架)上。
麦克风212布置在前框15的外侧上，触摸传感器250布置在前框15的外侧上。
从布置在壳体10中的第一投影仪270输出的第一投影光310输出到前框15的外部所通过的第一孔径11布置在前框15的内侧上。此外，从布置在壳体10中的第二投影仪275输出的第二投影光320输出到前框15的外部所通过的第二孔径12布置在前框15的内侧上。
至少一个按钮213布置在第一支框20的外侧上。
至少一个扬声器211布置在第一支框20和第二支框21的内侧上。
第一投影仪270输出用于形成第一虚拟图像的第一投影光310，从第一投影仪270输出的第一投影光310被聚焦并被第一窗口280反射，被聚焦和反射的第一投影光312在用户的左眼330的视网膜上形成第一虚拟图像。在此示例中，术语“聚焦”表示聚集光，并具有如下含义：包括将光聚集在一点的收敛性，减小光的光斑等。期望地，反射的第一入射光312聚集在左眼330的晶状体或瞳孔中。
第二投影仪275输出用于形成第二虚拟图像的第二投影光320，从第二投影仪275输出的第二投影光320被聚焦并被第二窗口285反射，被聚焦和反射的第二投影光322在用户的右眼335的视网膜上形成第二虚拟图像。期望地，反射的第二入射光322聚集在右眼335的晶状体或瞳孔中。虽然本示例阐述了两个投影仪的情况，但是可使用单个投影仪。
在以下描述中，除了分别显示在左眼和右眼中，第一虚拟图像和第二虚拟图像相同。然而，本发明不限于此，可仅显示第一虚拟图像和第二虚拟图像之一。
图6是第二电子装置的电路构造的示图。第二电子装置200的电路构造与第一电子装置100的电路构造类似，因此，将省略重复描述。
第二电子装置200包括输入/输出模块210、存储单元220、传感器模块225、通信模块240、触摸传感器250、第三相机260和第四相机265、第一投影仪270和第二投影仪275、第一窗口280和第二窗口285以及控制器290。
输入/输出模块210包括至少一个按钮213、至少一个麦克风212、至少一个扬声器211、连接器、键区或其组合，作为接收用户输入、告知用户信息、从外部接收数据和/或向外部输出数据的装置。
麦克风212可布置在前框15的外侧上。在本描述中，术语“信号”和“数据”可以互换，同样，术语“数据”和“数据信号”可以互换。
按钮213被提供用于接收用户输入，并用于打开或关闭第二电子装置200，选择和/或搜索菜单项或项目等。按钮213可布置在第一支框20的外侧上。
传感器模块225包括检测第二电子装置200的状态或周围环境状态的至少一个传感器。
通信模块240可以是有线通信单元、无线通信单元或有线/无线通信单元，通过外部通信网络或空气将数据从控制器290有线地或无线地发送到外部电子装置，或者通过外部通信网络或空气从外部电子装置有线地或无线地接收数据并将接收的数据传送到控制器290。
触摸传感器250将与至少一个触摸输入相应的信号发送到控制器290。控制器290从触摸输入信息识别用户输入信息(诸如对菜单项或项目的选择或移动，手写输入等)，并执行与用户输入信息相应的功能(呼叫连接、使用相机拍摄、编写消息/查看消息、发送数据等)。
第三相机260和第四相机265中的每一个可包括透镜系统和图像传感器，并可另外包括闪光灯等。第三相机260和第四相机265中的每一个将通过相应透镜系统输入的(或拍摄的)光转换成电图像信号，并将图像信号输出到控制器290。用户可通过第三相机260和第四相机265拍摄静止图像或录制视频。
控制器290处理从相机260和265输入的图像、存储在存储单元220中的图像或由控制器290使用存储在存储单元220中的数据形成的图像，并通过第一投影仪270和/或第二投影仪275将转换的适合于第一投影仪270和/或第二投影仪275的屏幕输出属性(尺寸、清晰度、分辨率等)的图像输出到外部。
控制器290通过第一投影仪270和/或第二投影仪275将与各种服务(例如，电话呼叫、数据传输、广播、拍摄等)相应的图像提供给用户。
用户可查看如下图像，在该图像中，通过环境光获得的周围景观图像和通过从投影仪270和275输入的光获得的虚拟图像重叠，并且用户可以以仿佛透明层被层叠在周围景观上的样子查看虚拟图像。
控制器290控制第二电子装置200的总体操作，并控制第二电子装置200中的其他组成元件以执行使用凝视的可见度提高方法。
控制器290通过第一投影仪270和/或第二投影仪275向用户显示存储在存储单元220中的图像数据、通过通信模块240接收的图像数据或由控制器290根据用户命令、对菜单项或图标的选择或事件信息基于存储在存储单元220中的数据所形成的图像数据，其中，所述用户命令、对菜单项或图标的选择或事件信息通过传感器模块225、输入/输出模块210、第三相机260或第四相机265或触摸传感器250输入。在此示例中，图像可以是静止图像或视频。
存储单元220根据控制器290的控制存储信号或数据。存储单元220可存储用于第二电子装置200或控制器290的控制的控制程序和应用。
下文中，将参照第一电子装置描述使用凝视跟踪的可见度提高方法。
图7是示出根据本发明的第一实施例的使用凝视跟踪的可见度提高方法的流程图。
作为用户检测步骤，在步骤S110，控制器110通过第一相机151或第一生物度量传感器171检测用户。控制器110确定在第一相机151所拍摄的图像中包括的对象是否包括面部。
例如，通常基于面部识别方法执行面部识别，并且可使用存储在存储单元175中的使用面部轮廓线、面部皮肤的颜色和/或纹理、模板等的面部识别技术。例如，控制器110通过多个用户的面部图像学习面部，并可基于面部学习从输入图像识别面部。面部学习信息被存储在存储单元175中。
此外，控制器110可确定从第一相机151所输入的图像中是否检测到预先与第一电子装置100注册的用户。可通过将用于检测用户的信息存储在存储单元175的数据库中来执行用户的注册。用于检测注册用户的信息可包括用户的面部图像、用户的面部图像的特征点(或者被称为特征图像、特征模式等)等。特征点可以是边缘、角落、图像样式或轮廓线。
例如，控制器110可通过将注册用户图像的特征点和从输入图像检测到的特征点进行匹配来确定输入图像中的用户是否与注册用户相同。
控制器110确定在第一相机151所拍摄的图像中包括的对象是否包括身体部分。
身体部分可包括眼睛、虹膜、面部、血管(例如，静脉)等。
图8A和图8B示出用户的眼睛。
参照图8A，用户的眼睛400包括瞳孔410、虹膜420和巩膜430。第一红外线光源172将红外线发射到用户的眼睛400，第一红外线相机173拍摄用户的眼睛400以输出眼睛图像。
例如，基于一般的眼睛识别方法执行眼睛识别，并且可使用存储在存储单元175中的基于眼睛轮廓线、模板等的眼睛识别技术。例如，控制器110通过多个用户的眼睛图像学习眼睛，并可基于眼睛学习从输入图像识别眼睛。眼睛学习信息被存储在存储单元175中。
此外，控制器110将存储在存储单元175中的用户的虹膜信息(例如，虹膜图像、特征点信息等)和输入图像进行比较，以识别用户的虹膜，并确定输入图像中的用户是否与注册用户相同。
如上所述，控制器290也可通过第三相机260检测用户。
作为凝视检测步骤，在步骤S120，控制器110从输入图像检测用户的凝视。控制器110可基于一般的眼睛跟踪技术从输入图像检测用户的凝视。
参照图8B，控制器110从瞳孔410的位姿(位置和/或方向)检测用户的凝视(凝视的方向)。
作为聚焦状态确定步骤，在步骤S130，控制器110确定用户是否聚焦于(在本申请中，这可表示例如用户稳定地凝视)对象。例如，控制器110可基于输入图像中的面部表情、凝视时间或瞳孔410的变化来确定用户是否聚焦于对象。
图9A和图9B示出基于面部表情确定用户是否聚焦于对象的方法。
图9A示出用户没有聚焦于对象时的面部表情，并显示出两只眼睛400、两条眉毛440、眉间部分450中的两条眉毛440之间的皱眉肌460(corrugatorsupercilii muscle)以及眉间部分450中的两只眼睛400之间的降眉间肌470。
图9B示出用户聚焦于对象时的面部表情。当用户聚焦于对象时，用户通常皱眉，并且用户是否聚焦于对象可基于眉间部分450的肌肉的变化来确定。例如，当用户聚焦于对象时，皱眉肌移动，因此两条眉毛440之间的距离变窄。相应地，眉间部分450中出现皱纹480，并且由于降眉间肌470的移动，鼻子向上抽，因此鼻梁上出现皱纹480。
此外，控制器110基于凝视时间确定用户是否聚焦于对象，当检测到用户的凝视时，设置包括预定时限(即，阈值时间)的定时器。例如，定时器的时限可以是1秒。定时器从1秒到0秒倒计时，并且当定时器的剩余时间是0秒时向控制器110通知定时器的终止，或者控制器110可感测定时器的终止。可选地，定时器可从0秒开始计时，并且当过去时间为1秒时向控制器110通知定时器的终止，或者控制器110感测定时器的终止。当凝视在定时器的时限期间没有变化时，控制器110确定用户聚焦于对象。
可选地，控制器110基于用户的瞳孔410的变化来确定用户是否聚焦于对象。即，基于当用户聚焦于对象时瞳孔410放大的现象来确定用户是否聚焦于对象。
当用户聚焦于对象时，控制器110执行步骤S140，并且在用户没有聚焦于任何对象时周期性地或持续地监视用户是否聚焦于对象，具体地讲，直到检测到用户聚焦于对象为止。
作为聚焦对象/区域检测步骤，在步骤S140，控制器110确定用户的凝视与图像表面相交的区域(即，聚焦区域)，并检测位于聚焦区域中的对象。
图10是示出根据本发明的第一实施例的检测聚焦对象的方法的示图。本实施例描述了触摸屏190是非透明触摸屏的情况。
图像表面510是触摸屏190的屏幕或表面，并且用户眼睛400的凝视440与图像表面510相交的区域是聚焦区域520。控制器110确定聚焦区域520中的对象530。
图11是示出根据本发明的第二实施例的检测聚焦对象的方法的示图。本实施例描述了触摸屏190是非透明触摸屏的情况。
由第二相机152的视角620限制的(例如，装置和/或用户周围的)周围景观(即，由第二相机152拍摄的周围景观的图像)是图像表面630，并且用户眼睛610的凝视612与图像表面630相交的区域是聚焦区域640。
图12是示出根据本发明的第三实施例的检测聚焦对象的方法的示图。本实施例描述了第二电子装置200检测聚焦对象的情况。聚焦对象包括包含在周围景观中的人、动物、植物、物体、建筑物、山等。
由第四相机265的视角限制的周围景观720(即，由第四相机265拍摄的周围景观区域720的图像)是图像表面730，并且用户眼睛400的凝视440与图像表面730相交的区域是聚焦区域732。控制器290确定包括在聚焦区域732中的与周围景观720中的树722对应的树图像734是聚焦对象。即，在透明窗口280和285中或通过透明窗口280和285位于用户的凝视的延长线上的区域或对象可以是聚焦区域或聚焦对象。换言之，在透明显示器(诸如透明触摸屏190、透明窗口280和285等)中或通过透明显示器位于用户的凝视的延长线上的区域或对象可以是聚焦区域或聚焦对象。
返回参照图7，作为图像搜索和显示步骤，在步骤S150，控制器110搜索与聚焦对象相应的具有高可见度的图像，并显示检索到的图像。
具有高可见度的图像包括高分辨率(或高清晰度)图像、具有增强可见度的图像、矢量图形图像、短距离图像、当提供大量光时拍摄的图像(即，在环境照度高的状态下拍摄的图像)等。基于相同尺寸，具有高可见度的图像比聚焦对象具有更高的分辨率、清晰度或亮度。
控制器110可在存储单元175中搜索与具有低可见度的聚焦对象相应的具有高可见度的图像，并且例如，控制器110通过图像匹配处理确定存储在存储单元175中的具有高可见度的图像。
可选地，控制器110可在外部服务器中搜索具有高可见度的图像。例如，控制器110将包括具有低可见度的聚焦对象(或聚焦对象的图像和位置信息)的图像和/或与聚焦对象相关联的信息发送到服务器，并接收从服务器检索到的具有高可见度的图像。与聚焦对象相关联的信息可包括在拍摄聚焦对象时第一电子装置100的位置信息、第一电子装置100的位姿(罗盘方向或方向)信息、图像源信息(图像相关程序、下载图像的web地址等)等。
图13A至图13C示出根据本发明的第一实施例的显示具有高可见度的图像的方法。
参照图13A，用户的眼睛400聚焦于显示在第一电子装置100的触摸屏190上的缩略图图像810，并被第一相机151捕捉到。
图13B是本发明的比较示例，示出了具有低分辨率的缩略图图像的放大图像812。
参照图13C，控制器110确定缩略图图像810的相关信息(即，原始图像的位置信息)，并在触摸屏190上显示放大的原始图像814。
如图13B中所示，当具有低分辨率的缩略图图像被放大时，显示具有低清晰度的不清晰图像812。相反，如图13C中所示，当使用与缩略图图像相关联的原始图像时，显示具有高清晰度的清晰图像814。
图14A至图14C示出根据本发明的第二实施例的显示具有高可见度的图像的方法。
参照图14A，通过拍摄放置在桌子上的第一盒子至第三盒子830、832和834所获得的图像820被显示在第一电子装置100的触摸屏190上。控制器110基于用户的凝视确定包括第一盒子830的聚焦区域840。
参照图14B，第一控制器110将聚焦区域图像840发送到服务器。
参照图14C，第一控制器110从服务器接收与包括在聚焦区域中的第一盒子相关联的具有高可见度的图像830，并在触摸屏190上显示具有高可见度的图像830a。
图15A和图15B示出根据本发明的第三实施例的显示具有高可见度的图像的方法。
参照图15A，通过拍摄鸟获得的具有低可见度的图像850被显示在第一电子装置100的触摸屏190上。控制器110基于用户的凝视将具有低可见度的图像850确定为聚焦对象。
参照图15B，当未检索到与聚焦对象相应的具有高可见度的图像时，控制器110通过图像滤波或应用视觉效果产生具有高清晰度的图像，并在触摸屏190上显示产生的高清晰度图像852。
此外，用于拍摄的相机的参数是可调节的。例如，当鸟周围的光量过度或不足时，由于相机光圈或白平衡值，导致无法很好地捕捉聚焦的对象。在该示例中，为了显示具有高可见度的图像，检查聚焦的对象，并基于对象调节相机的参数。
图16A至图16C示出根据本发明的第四实施例的显示具有高可见度的图像的方法。
参照图16A，用户聚焦于显示在第一电子装置100的触摸屏190上的字符870，控制器110基于用户的凝视确定聚焦区域860，并将因其大小而具有低可见度的字符870确定为聚焦对象。
图16B是本发明的比较示例，示出了当表示较小字符的光栅图形图像或位图图像被放大时产生难以识别的图像872。
参照图16C，控制器110通常通过字符识别方法识别位图图像中作为聚焦对象的字符，在存储单元175中搜索与聚焦对象相应的矢量图像，并放大检索到的矢量图像874以进行显示。此外，当作为聚焦对象的字符是矢量图像时，可通过增大字符的尺寸来显示字符。
图17是示出服务器的配置的框图。
服务器900包括通信模块920、存储单元930和控制器910。
通信模块920执行与第一电子装置100或第二电子装置200的有线或无线通信。
存储单元930包括包含如下指令的程序，所述指令指示第一电子装置100或第二电子装置200执行显示具有高可见度的图像的方法，更新程序的信息、图像数据库、街道全景数据库、二维(2D)地图等。
街道全景数据库包括映射到多个不同位置的街道视图图像。街道全景数据库是地图数据库，并存储由通过经由相机拍摄城市或街道所获得的实际图像形成的实际三维(3D)地图。这里，实际3D地图表示通过使用车辆、飞机等拍摄实际街道并使用拍摄的实际图像所实现的3D地图。通过使用安装在车辆等上的立体相机拍摄城市或街道来获得这样的实际3D地图。因此，不仅可以获得包括在拍摄的图像中的对象的三维坐标(x坐标、y坐标和z坐标)，而且可以获得与在拍摄中使用的相机和对象之间的距离相应的深度信息。另外，可通过使用飞机拍摄宽范围的多个2D图像，在拍摄的图像中提取两个相邻2D图像之间的重叠区域中的深度信息，并通过3D映射执行3D建模，来实现这样的3D地图。另外，包括在实际3D地图中的每个对象具有多个3D信息和深度信息项。例如，表示每个对象的多个像素中的每一个可具有3D信息和深度信息。结果，实际3D地图可不仅区分特定建筑物的位置，而且区分建筑物的轮廓(例如，特定建筑物的前视图、后视图和侧视图)，并且还可区分建筑物的各个楼层。相反，现有2D地图与上述3D的不同之处在于，由于从2D地图仅使用GPS信息，因此针对特定建筑物仅可提供单个位置信息项，而不可详细地区分建筑物的各个楼层或前侧和后侧。
控制器910自动地或者响应于第一电子装置100或第二电子装置200的请求，将程序或更新信息发送到第一电子装置100或第二电子装置200。
此外，控制器910将从第一电子装置100或第二电子装置200接收到的聚焦对象图像(和/或相关信息)与存储在图像数据库或街道全景数据库中的图像进行匹配，并将具有高可见度的匹配图像发送到第一电子装置100或第二电子装置200。控制器910基于从第一电子装置100或第二电子装置200接收到的与聚焦对象相关联的信息来提高匹配速度和精度。每个数据库可存储图像，并还存储与图像相应的位置信息(包括位置、位姿(罗盘方向)等)、图像源信息(诸如图像相关程序和下载图像的web地址)等。
虽然已经使用第一电子装置100作为示例描述了以上实施例，但是本发明的实施例可以以相同或相似的方式应用于第一电子装置100或第二电子装置200。下文中，将提供使用第二电子装置200显示具有高可见度的图像的方法的其他示例。
图18A、图18B、图19A和图19B示出根据本发明的第五实施例的显示具有高可见度的图像的方法。
当在用户的凝视方向上存在多个聚焦对象时，控制器290可基于用户的命令虚拟地移动用户的视点。在描述的示例中，视点的移动对应于放大聚焦对象以进行显示，或者可对应于缩小聚焦对象。
参照图18A，当在用户眼睛1010的凝视的方向1020上存在第一聚焦对象1030和第二聚焦对象1040时，虽然控制器290显示与距用户最近的第一聚焦对象1030相关联的具有高可见度的图像，但是控制器290可基于用户的命令沿凝视方向来回移动虚拟视点。
图18B示出用户通过第二电子装置200的第二窗口285查看第一聚焦对象1030和第二聚焦对象1040。
参照图18A和图19A，通过第二窗口285显示在用户和第一聚焦对象1030之间的第一虚拟视点1012处的放大的第一聚焦对象1032(即，具有高可见度的图像)。以这种方式，通过第二窗口285显示放大的第一聚焦对象1032。
参照图18A和图19B，在第二窗口285上显示在第一聚焦对象1030和第二聚焦对象1040之间的第二虚拟视点1014处的放大的第二聚焦对象1042(即，具有高可见度的图像)。
控制器290将聚焦对象的图像和相关信息(例如，第二电子装置200的位置信息、第二电子装置200的位姿(或罗盘方向或方向)信息等)发送到服务器900，并且接收和显示从服务器900接收的聚焦对象的具有高可见度的图像。可通过用户的命令(语音、手势或触摸)切换虚拟视点。此外，可通过用户的面部表情的变化切换提供的图像(当聚焦保持时提供远距离对象的图像)。
图24A至图24C示出聚焦对象的改变。
当具有高可见度的图像被显示在第二窗口285上时，由于检测到的凝视的角度的误差，可能会显示位于与用户意图不同的位置中的图像。当显示具有高可见度的图像时，检测到用户凝视的移动，并且聚焦对象发生改变以显示满足用户意图的图像。
参照图24A，即使用户的凝视1072实际上指向第二对象1060，由于聚焦对象确定的误差，也会错误地确定用户的凝视1071指向第一对象1050。
参照图24B，控制器290错误地测量出用户聚焦于第一对象1050，并在第二窗口285的中心显示第一对象1050的具有高可见度的图像1052。
随后，控制器290跟踪用户的凝视，确定用户的凝视1073指向第二对象1060的具有高可见度的图像1062，并改变聚焦对象。
参照图24C，控制器290改变聚焦对象，并在第二窗口285的中心显示第二对象1060的具有高可见度的图像1062。
虽然本实施例跟踪用户的凝视，并基于在提供的图像中被用户聚焦的对象来校正提供的对象图像，但是除了感测用户的凝视之外，还可基于用户的命令(手势、语音、触摸等)进行对提供的图像的详细调节。
图20A和图20B示出根据本发明的第六实施例的显示具有高可见度的图像的方法。
图20A示出用户1010在黑夜通过第二电子装置200的第二窗口285凝视较暗的聚焦对象1040。
参照图20B，在第二窗口285上显示聚焦对象1040的明亮的放大图像1044(即，具有高可见度的图像)。
控制器290将聚焦对象1040的图像和相关信息(例如，第二电子装置200的位置信息和第二电子装置200的位姿(或罗盘方向或方向)信息等)发送到服务器900，并显示从服务器900接收的聚焦对象1040的具有高可见度的图像1044。
在以上描述的示例中，在向用户显示具有高可见度的图像之后，可通过取消聚焦状态来执行返回到先前屏幕的操作。例如，当用户不再凝视相应对象时(诸如当用户的凝视改变时，当用户不再皱眉时等)，控制器110和290可显示在显示具有高可见度的图像之前刚刚显示的屏幕。在透明触摸屏或第二电子装置200的情况下，控制器110和290可中断具有高可见度的图像的显示。
图21A和图21B示出根据本发明的实施例的中断具有高可见度的图像的显示的方法。
图21A示出显示在第一电子装置100的触摸屏190上的且作为具有高可见度的图像的放大网页1110。
参照图21B，当用户1120叹气1122并发出诸如“唷”的声音时，控制器110显示在显示具有高可见度的图像之前刚刚显示的屏幕，即，被放大之前的网页1112。控制器110使用当用户的呼吸通过图3中示出的麦克风162时产生的擦音声来确定是否取消聚焦状态。
虽然在以上描述的示例中控制器110和290确定用户是否聚焦于(或稳定地凝视)对象，但是除了基于面部表情和凝视时间进行确定之外，还可基于直接来自用户的命令来确定用户是否聚焦于对象。可以视为确定是否接收到用户命令，而非确定用户是否聚焦于对象。
图22是示出根据本发明的第二实施例的使用凝视跟踪的可见度提高方法的流程图。
作为用户检测步骤，在步骤S210，控制器110通过第一相机151或第一生物度量传感器171检测用户。控制器110确定在第一相机151或第一生物度量传感器171所拍摄的图像中包括的对象是否包括面部或身体部分。
作为凝视检测步骤，在步骤S220，控制器110从输入图像检测用户的凝视。
作为用户命令确定步骤，在步骤S230，控制器110确定是否接收到用户命令。
可通过传输用户意图的任何方法(诸如语音、触摸、通过物理键/按钮作出的输入、用户手势、第一电子装置100的运动、用户的面部表情、用户的呼吸、脑波等)来提供命令。
例如，用户可输入诸如“放大”、“缩小”、“变亮”等的语音命令，控制器110通过麦克风162接收语音命令以将用于显示的具有高可见度的图像进行放大、缩小或变亮。对于缩小，控制器110通过将具有高可见度的图像缩小为小于相应对象来显示具有高可见度的图像，或者缩小当前显示的具有高可见度的图像并显示缩小后的图像。对于放大，控制器110另外放大当前显示的具有高可见度的图像并显示放大后的图像。
例如，控制器110可显示用于指示在触摸屏190上显示具有高可见度的图像的按钮，或者可将“放大”和“缩小”功能映射到是物理键的音量增大按钮161f和音量减小按钮161g。
例如，控制器290可监视是否通过第四相机265检测到预先设置的手势。手势的示例包括例如：通过使用手指指示经由窗口280和285查看的对象的动作来指定聚焦对象，通过手指的捏合动作(关闭或打开手指的动作)放大或缩小聚焦对象，以及通过来回移动手指的动作(移动手指接近或远离第二电子装置200的动作)移动虚拟视点。
例如，用户做出来回移动第一电子装置100的动作或使第一电子装置100倾斜的动作。控制器110可通过第一传感器模块170感测第一电子装置100的运动。当第一电子装置100沿正向(即，面对用户的方向)移动或倾斜时，控制器110放大具有高可见度的图像并显示放大后的图像，当第一电子装置100沿反向(即，远离用户的方向)移动或倾斜时，控制器110缩小具有高可见度的图像并显示缩小后的图像。
例如，第一控制器110可基于用户面部上皱眉的程度来确定具有高可见度的图像的放大的程度。可选地，当具有高可见度的图像已经显示时，第一控制器110在用户进一步皱眉时另外放大具有高可见度的图像，并且在用户不再皱眉时缩小具有高可见度的图像。
可基于面部上皱眉的程度来确定虚拟视点。在具有高可见度的图像已经显示的情况下，当用户进一步皱眉时，第二控制器290移动虚拟视点以比之前更近或更远。
当接收到用户命令时，控制器110执行步骤S240，并且当未接收到用户命令时，控制器110周期性地或持续地监视是否接收到用户命令。
作为聚焦对象/区域检测步骤，在步骤S240，控制器110确定用户的凝视与图像表面相交的区域(即，聚焦区域)，并检测位于聚焦区域中的对象。
作为图像搜索和显示步骤，在步骤S250，第一控制器110搜索与聚焦对象相应的具有高可见度的图像，并显示检索到的图像。在该示例中，控制器110基于步骤S230的用户命令显示检索到的图像。
图23是示出根据本发明的第三实施例的使用凝视跟踪的可见度提高方法的流程图。
作为用户命令接收步骤，在步骤S310，控制器110通过传输用户意图的任何方法(诸如语音、触摸、通过物理键/按钮作出的输入、用户手势、第一电子装置100的运动、用户的面部表情、用户的呼吸、脑波等)接收用户命令。
作为用户检测步骤，在步骤S320，控制器110通过第一相机151或第一生物度量传感器171检测用户。
作为凝视检测步骤，在步骤S330，控制器110从输入图像检测用户的凝视。
作为聚焦对象/区域检测步骤，在步骤S340，控制器110确定用户的凝视与图像表面相交的区域(即，聚焦区域)，并检测位于聚焦区域中的对象。
作为图像搜索和显示步骤，在步骤S350，控制器110搜索与聚焦对象相应的具有高可见度的图像，并显示检索到的图像。在该示例中，第一控制器110基于步骤S310的用户命令显示检索到的图像。
虽然在上述实施例中已经示出了触摸屏作为显示屏幕的显示单元的代表性示例，但是也可使用不具有触摸检测功能的一般的显示单元或透明显示器(诸如液晶显示器(LCD)、有机发光二极管(OLED)和发光二极管(LED))来替代触摸屏。
此外，第二电子装置200的第一窗口280和第二窗口285可以是显示单元或透明显示器。
将认识到，本发明的实施例可以以软件、硬件或其组合实现。任何这样的软件可被存储在例如易失性或非易失性存储装置(诸如ROM、诸如RAM的存储器、存储芯片、存储装置或IC)中，或者被存储在光或磁可记录和机器(例如，计算机)可读介质(诸如CD、DVD、磁盘或磁带)中，而不管其被擦除的能力或其被重新记录的能力如何。应认识到，包括在电子装置中的存储单元是适合于存储程序或包括用于实现本发明的各种实施例的命令的程序的机器可读存储介质的一个示例。因此，本发明包括包含用于实现在本说明书的任何权利要求中限定的方法或设备的代码的程序以及存储这样的程序的机器可读存储介质。此外，可通过预定介质(诸如通过有线或无线连接所传输的通信信号)以电的方式传输程序，并且本发明适当地包括程序的等同物。
虽然在本发明的以上描述中描述了特定实施例，但是在不脱离本发明的范围的情况下，可进行各种修改。因此，本发明的范围将不由上述实施例确定，而应由权利要求及其等同物确定。

Claims (19)

1.一种利用凝视跟踪提高可见度的方法，所述方法包括：
通过相机检测用户的凝视；
从通过电子装置的显示单元查看的至少一个对象中确定用户凝视的聚焦对象；
在显示单元上显示与聚焦对象对应的并且比聚焦对象具有更高可见度的图像。
2.根据权利要求1所述的方法，其中，基于相同尺寸，所述具有更高可见度的图像比聚焦对象具有更高的分辨率、更高的清晰度和更高的亮度中的至少一个。
3.根据权利要求1所述的方法，还包括：
通过相机检测用户的面部或眼睛。
4.根据权利要求1所述的方法，其中，基于用户的瞳孔的位置检测凝视。
5.根据权利要求1所述的方法，还包括：
确定用户是否聚焦于通过显示单元查看的对象。
6.根据权利要求5所述的方法，其中，基于用户的面部表情、凝视时间和用户眼睛的瞳孔的变化中的一项来确定用户是否聚焦在对象上。
7.根据权利要求1所述的方法，还包括：将包括聚焦对象的图像和与聚焦对象相关联的信息发送到服务器；
从服务器接收所述具有更高可见度的图像。
8.根据权利要求7所述的方法，其中，与聚焦对象相关联的信息包括以下信息中的至少一个：在拍摄聚焦对象的时间点电子装置的位置信息、电子装置的方向信息以及与聚焦对象的源相关联的源信息。
9.根据权利要求1所述的方法，其中，聚焦对象是显示在屏幕上的图像、显示在屏幕上的字符和周围景观中的对象中的一种。
10.根据权利要求1所述的方法，还包括：
基于用户的命令，移动凝视聚焦对象的用户的虚拟视点。
11.根据权利要求1所述的方法，还包括：
当用户停止聚焦于聚焦对象时，中断所述具有更高可见度的图像的显示。
12.根据权利要求1所述的方法，还包括：
接收用户的命令；
基于用户的命令执行凝视的检测。
13.根据权利要求1所述的方法，还包括：
接收用户的命令；
基于用户的命令执行聚焦对象的确定。
14.一种电子装置，包括：
相机，拍摄用户的眼睛；
显示单元，显示至少一个对象；
控制器，被配置为从拍摄的用户的眼睛检测凝视，从所述至少一个对象中确定用户凝视的聚焦对象，并通过显示单元显示与聚焦对象对应的并且比聚焦对象具有更高可见度的图像。
15.根据权利要求14所述的电子装置，其中，基于相同尺寸，所述具有更高可见度的图像比聚焦对象具有更高的分辨率、更高的清晰度和更高的亮度中的至少一个。
16.根据权利要求14所述的电子装置，其中，聚焦对象是显示在屏幕上的图像、显示在屏幕上的字符和周围景观中的对象中的一种。
17.根据权利要求14所述的电子装置，其中，控制器被配置为确定用户是否聚焦于通过显示单元查看的对象。
18.根据权利要求14所述的电子装置，其中，控制器被配置为将包括聚焦对象的图像和与聚焦对象相关联的信息发送到服务器，并从服务器接收所述具有更高可见度的图像。
19.一种可佩戴电子装置，包括：
壳体，用于将可佩戴电子装置定位在用户的身体上；
至少一个相机，拍摄用户的眼睛；
至少一个显示单元，显示至少一个对象；
控制器，被配置为从拍摄的用户的眼睛检测凝视，从所述至少一个对象中确定用户凝视的聚焦对象，并通过显示单元显示与聚焦对象对应的并且比聚焦对象具有更高可见度的图像。
CN201410257721.0A 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置 Active CN104238739B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910012472.1A CN109683716B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置
CN201910012778.7A CN109739361B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0066578 2013-06-11
KR1020130066578A KR102098277B1 (ko) 2013-06-11 2013-06-11 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910012778.7A Division CN109739361B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置
CN201910012472.1A Division CN109683716B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置

Publications (2)

Publication Number Publication Date
CN104238739A true CN104238739A (zh) 2014-12-24
CN104238739B CN104238739B (zh) 2019-02-01

Family

ID=51032917

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910012472.1A Active CN109683716B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置
CN201410257721.0A Active CN104238739B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置
CN201910012778.7A Active CN109739361B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910012472.1A Active CN109683716B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910012778.7A Active CN109739361B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置

Country Status (4)

Country Link
US (6) US9851788B2 (zh)
EP (2) EP3382510A1 (zh)
KR (1) KR102098277B1 (zh)
CN (3) CN109683716B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484043A (zh) * 2014-12-25 2015-04-01 广东欧珀移动通信有限公司 屏幕亮度调节方法及装置
CN104699250A (zh) * 2015-03-31 2015-06-10 小米科技有限责任公司 显示控制方法及装置、电子设备
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
CN105025131A (zh) * 2015-07-31 2015-11-04 瑞声声学科技(深圳)有限公司 一种手机的工作方法
CN105575368A (zh) * 2016-03-16 2016-05-11 广东欧珀移动通信有限公司 一种调节显示屏亮度的方法及装置
CN107427208A (zh) * 2015-03-03 2017-12-01 感官运动仪器创新传感器有限公司 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
WO2018099436A1 (en) * 2016-12-01 2018-06-07 Huang Sin Ger A system for determining emotional or psychological states
CN108508603A (zh) * 2017-02-28 2018-09-07 精工爱普生株式会社 头部佩戴型显示装置及其控制方法、以及记录介质
CN109164555A (zh) * 2018-09-30 2019-01-08 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
CN110199489A (zh) * 2016-12-20 2019-09-03 伟视达电子工贸有限公司 数据传输方法和数据传输设备
CN110554501A (zh) * 2018-06-01 2019-12-10 脸谱科技有限责任公司 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN110638524A (zh) * 2019-09-16 2020-01-03 山东省肿瘤防治研究院（山东省肿瘤医院） 一种基于vr眼镜的肿瘤穿刺实时模拟系统
CN110944119A (zh) * 2016-10-28 2020-03-31 佳能株式会社 图像处理设备、图像处理系统、图像处理方法和程序

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
US9922253B2 (en) * 2013-10-11 2018-03-20 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
FR3022377B1 (fr) * 2014-06-13 2017-08-25 Morpho Dispositif d'acquisition optique pour systemes biometriques
USD761860S1 (en) * 2014-06-20 2016-07-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
TW201605247A (zh) * 2014-07-30 2016-02-01 國立臺灣大學 影像處理系統及方法
US9945755B2 (en) * 2014-09-30 2018-04-17 Marquip, Llc Methods for using digitized sound patterns to monitor operation of automated machinery
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102429427B1 (ko) * 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
US10757399B2 (en) 2015-09-10 2020-08-25 Google Llc Stereo rendering system
EP3369091A4 (en) * 2015-10-26 2019-04-24 Pillantas Inc. SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
CN106873758A (zh) * 2015-12-10 2017-06-20 深圳市中兴微电子技术有限公司 一种屏幕显示方法和终端
CN105677026B (zh) * 2015-12-31 2020-01-31 联想(北京)有限公司 信息处理方法及电子设备
US9858672B2 (en) 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
TW201743241A (zh) * 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
US10881293B2 (en) 2016-07-22 2021-01-05 Brandeis University Systems and methods for surveying the sclera of the eye
JP2018031822A (ja) * 2016-08-22 2018-03-01 パイオニア株式会社 表示装置及び方法、並びにコンピュータプログラム及び記録媒体
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
KR20180056174A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
US10025384B1 (en) 2017-01-06 2018-07-17 Oculus Vr, Llc Eye tracking architecture for common structured light and time-of-flight framework
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
US10679366B1 (en) 2017-01-30 2020-06-09 Facebook Technologies, Llc High speed computational tracking sensor
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
WO2019204161A1 (en) 2018-04-20 2019-10-24 Pcms Holdings, Inc. Method and system for gaze-based control of mixed reality content
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
WO2020095784A1 (ja) * 2018-11-06 2020-05-14 日本電気株式会社 表示制御装置、表示制御方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
KR102444924B1 (ko) * 2019-04-04 2022-09-19 주식회사 빌리버 가상 현실 장치 및 그 제어 방법
KR20190095183A (ko) * 2019-07-25 2019-08-14 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
EP4172741A1 (en) * 2020-06-30 2023-05-03 Snap Inc. Eyewear including shared object manipulation ar experiences
KR20230001715A (ko) * 2021-06-29 2023-01-05 삼성전자주식회사 시선 방향 인식 시에 에러를 보정하는 전자 장치 및 전자 장치의 동작 방법
KR20230060315A (ko) * 2021-10-27 2023-05-04 삼성전자주식회사 전자 장치 및 이를 이용한 공간 매핑 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175551A1 (en) * 2008-01-04 2009-07-09 Sony Ericsson Mobile Communications Ab Intelligent image enhancement
CN102063249A (zh) * 2009-11-16 2011-05-18 美国博通公司 一种通信方法和通信系统
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
CN102301316A (zh) * 2009-12-14 2011-12-28 松下电器产业株式会社 用户界面装置以及输入方法
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4158376B2 (ja) * 2001-12-07 2008-10-01 株式会社ニコン 電子カメラおよび画像表示装置および画像表示方法
JP2004312401A (ja) 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
DE602007001600D1 (de) * 2006-03-23 2009-08-27 Koninkl Philips Electronics Nv Hotspots zur blickfokussierten steuerung von bildmanipulationen
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US9229230B2 (en) * 2007-02-28 2016-01-05 Science Applications International Corporation System and method for video image registration and/or providing supplemental data in a heads up display
JP2009192448A (ja) 2008-02-18 2009-08-27 Tama Art Univ 情報表示装置及び情報提供システム
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101242531B1 (ko) 2009-09-30 2013-03-12 에스케이플래닛 주식회사 시선 인식을 이용한 화면 처리 방법 및 휴대단말
KR101254037B1 (ko) 2009-10-13 2013-04-12 에스케이플래닛 주식회사 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
KR20110114114A (ko) 2010-04-13 2011-10-19 최현환 실사형 3차원 네비게이션 구현방법
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR101740728B1 (ko) * 2010-04-23 2017-05-29 주식회사 비즈모델라인 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2499963A1 (en) 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
KR20120127790A (ko) 2011-05-16 2012-11-26 경북대학교 산학협력단 시선추적 시스템 및 그 방법
US20120326969A1 (en) * 2011-06-24 2012-12-27 Krishnan Ramanathan Image slideshow based on gaze of a user
KR101830966B1 (ko) * 2011-09-21 2018-02-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 생성 방법
US8917238B2 (en) 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
CN102957931A (zh) * 2012-11-02 2013-03-06 京东方科技集团股份有限公司 一种3d显示的控制方法和装置、及视频眼镜

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175551A1 (en) * 2008-01-04 2009-07-09 Sony Ericsson Mobile Communications Ab Intelligent image enhancement
CN102063249A (zh) * 2009-11-16 2011-05-18 美国博通公司 一种通信方法和通信系统
CN102301316A (zh) * 2009-12-14 2011-12-28 松下电器产业株式会社 用户界面装置以及输入方法
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
US20130117377A1 (en) * 2011-10-28 2013-05-09 Samuel A. Miller System and Method for Augmented and Virtual Reality

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484043A (zh) * 2014-12-25 2015-04-01 广东欧珀移动通信有限公司 屏幕亮度调节方法及装置
CN107427208A (zh) * 2015-03-03 2017-12-01 感官运动仪器创新传感器有限公司 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
CN104699250A (zh) * 2015-03-31 2015-06-10 小米科技有限责任公司 显示控制方法及装置、电子设备
CN104699250B (zh) * 2015-03-31 2018-10-19 小米科技有限责任公司 显示控制方法及装置、电子设备
US9983667B2 (en) 2015-03-31 2018-05-29 Xiaomi Inc. Method and apparatus for display control, electronic device
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
CN105025131B (zh) * 2015-07-31 2018-06-08 瑞声声学科技(深圳)有限公司 一种手机的工作方法
CN105025131A (zh) * 2015-07-31 2015-11-04 瑞声声学科技(深圳)有限公司 一种手机的工作方法
CN105575368A (zh) * 2016-03-16 2016-05-11 广东欧珀移动通信有限公司 一种调节显示屏亮度的方法及装置
CN105575368B (zh) * 2016-03-16 2018-07-31 广东欧珀移动通信有限公司 一种调节显示屏亮度的方法及装置
CN110944119A (zh) * 2016-10-28 2020-03-31 佳能株式会社 图像处理设备、图像处理系统、图像处理方法和程序
CN110944119B (zh) * 2016-10-28 2022-04-26 佳能株式会社 图像处理系统、图像处理方法和存储介质
US11128813B2 (en) 2016-10-28 2021-09-21 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and storage medium
WO2018099436A1 (en) * 2016-12-01 2018-06-07 Huang Sin Ger A system for determining emotional or psychological states
CN110199489A (zh) * 2016-12-20 2019-09-03 伟视达电子工贸有限公司 数据传输方法和数据传输设备
CN110199489B (zh) * 2016-12-20 2022-03-18 伟视达电子工贸有限公司 数据传输方法和数据传输设备
CN108508603A (zh) * 2017-02-28 2018-09-07 精工爱普生株式会社 头部佩戴型显示装置及其控制方法、以及记录介质
CN110554501A (zh) * 2018-06-01 2019-12-10 脸谱科技有限责任公司 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN109164555A (zh) * 2018-09-30 2019-01-08 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
CN110638524A (zh) * 2019-09-16 2020-01-03 山东省肿瘤防治研究院（山东省肿瘤医院） 一种基于vr眼镜的肿瘤穿刺实时模拟系统

Also Published As

Publication number Publication date
CN104238739B (zh) 2019-02-01
CN109739361B (zh) 2022-04-26
US9851788B2 (en) 2017-12-26
KR102098277B1 (ko) 2020-04-07
US20190179411A1 (en) 2019-06-13
KR20140144510A (ko) 2014-12-19
US20190179410A1 (en) 2019-06-13
US11366516B2 (en) 2022-06-21
EP2813922B1 (en) 2018-05-16
EP3382510A1 (en) 2018-10-03
US10203754B2 (en) 2019-02-12
EP2813922A1 (en) 2014-12-17
CN109683716B (zh) 2021-10-22
US10514758B2 (en) 2019-12-24
US20200209961A1 (en) 2020-07-02
US20220004255A1 (en) 2022-01-06
US20140361984A1 (en) 2014-12-11
CN109683716A (zh) 2019-04-26
US11194388B2 (en) 2021-12-07
US20180120935A1 (en) 2018-05-03
CN109739361A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US20210407203A1 (en) Augmented reality experiences using speech and text captions
US20150379770A1 (en) Digital action in response to object interaction
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
US11508130B2 (en) Augmented reality environment enhancement
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11893989B2 (en) Voice-controlled settings and navigation
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20240144611A1 (en) Augmented reality eyewear with speech bubbles and translation
KR102473669B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant