CN105814516B - 注视驱动的增强现实 - Google Patents

注视驱动的增强现实 Download PDF

Info

Publication number
CN105814516B
CN105814516B CN201480067662.9A CN201480067662A CN105814516B CN 105814516 B CN105814516 B CN 105814516B CN 201480067662 A CN201480067662 A CN 201480067662A CN 105814516 B CN105814516 B CN 105814516B
Authority
CN
China
Prior art keywords
user
roi
emotional state
information
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480067662.9A
Other languages
English (en)
Other versions
CN105814516A (zh
Inventor
E·阿斯蓬
Y·雷兹尼克
艾利拉·莱尔
G·S·斯滕伯格
R·内夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Patent Holdings Inc
Original Assignee
InterDigital Patent Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital Patent Holdings Inc filed Critical InterDigital Patent Holdings Inc
Publication of CN105814516A publication Critical patent/CN105814516A/zh
Application granted granted Critical
Publication of CN105814516B publication Critical patent/CN105814516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Dermatology (AREA)
  • Dentistry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Neurology (AREA)

Abstract

公开了增强现实(AR)系统、方法和手段。用户的注视点可被估计，并且可以用于搜索和呈现信息，例如，与用户正关注到的区域有关的信息。用户的注视点可用于促进或实现用户视线方向可以控制的交互性模式和/或用户界面。生物测定技术可以用于估计用户的情绪状态。该估计的情绪状态可以用于是被呈现给用户的信息。

Description

注视驱动的增强现实
相关申请的交叉引用
本申请要求2013年10月11日申请的美国临时申请No.61/889,900的权益，其公开通过引用的方式整体结合于此。
背景技术
在增强现实(AR)中，用户对现实世界的视野可以通过在通过设备(如智能电话、平板电脑或可穿戴电子设备(如谷歌眼镜(GOOGLE)系统))观看的图像的上面添加一层或多层数字信息被数字化加强(或增强)。AR的一些应用可以包括观光(例如，提供关于附近的商家或景点的信息)、游戏(例如，在真实世界环境中玩的数字游戏)、导航及其他。
AR的应用可以适用于无线发射/接收单元(WTRU)，如移动设备，因为移动设备可以配备有相机、传感器、全球定位系统(GPS)和陀螺仪(以便确定相机视野的方向)。WTRU还具有发送/接收能力以与服务器进行交互。
发明内容
公开了增强现实(AR)系统、方法和手段。用户的注视点可被估计，并且可以用于搜索和呈现信息，例如，仅呈现与用户正将其视线方向关注到的区域有关的信息。用户的注视点可用于促进或实现用户视线方向可以控制的交互性模式和/或用户界面。
生物测定(Biometric)技术可以用于估计用户的情绪状态。这个估计的情绪状态可以用于细化被呈现给用户的信息。
在AR系统中呈现信息的方法可以涉及确定用户的注视点和根据该注视点的功能的感兴趣区域(ROI)。关于ROI中的对象的信息可以被呈现。用户的情绪状态可以根据关于用户的生物测定数据的功能来确定。搜索结果可以根据所确定的情绪状态的功能被过滤。
附图说明
图1是示出增强现实(AR)系统的示例性元件的图；
图2A是示出叠加在图像上的示例AR信息的图；
图2B是示出叠加在图像上的AR信息不正确或不一致的示例的图；
图3是示出用于实施AR技术的示例系统的框图；
图4是示出用于实施AR技术的另一示例系统的框图；
图5是示出示例AR搜索结果的图；
图6是示出了可以使用基于位置和视觉搜索技术的示例AR系统的框图；
图7是示出示例AR用户界面的图；
图8是示出示例注视点检测系统的框图；
图9示出示例眼睛跟踪系统；
图10示出使用注视点检测以限制在感兴趣区域(ROI)的搜索的示例；
图11A是示出由到目标的不同距离造成的来自ROI的不同结果的图；
图11B是示出ROI尺寸调整的图；
图12描绘包括注视驱动的用户界面(UI)的示例AR系统；
图13示出注视驱动的用户界面(UI)上使用注视点检测的示例；
图14是示出可用于估计情绪状态的示例模块的框图；
图15是示出示例注视驱动的AR系统的框图；
图16是示出注视驱动的AR用户界面的图；
图17描绘自适应调整ROI尺寸以减少感兴趣对象的数量的示例；
图18A是可以实施一个或多个公开的实施方式的示例通信系统的系统图；
图18B是可以在图18A中示出的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图；
图18C是可以在图18A中示出的通信系统中使用的示例无线电接入网和示例核心网的系统图；
图18D是可以在图18A中示出的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图；
图18E是可以在图18A中示出的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。
具体实施方式
现在将参考各个附图描述说明性实施方式的详细描述。虽然该描述提供了可能实施的详细示例，但是应该注意的是，细节旨在是示例性的，并且决不限制本申请的范围。
图1示出增强现实(AR)系统的示例元件，包括移动设备，如WTRU 100。AR系统中的用户体验可通过呈现可以与用户有关的信息来增强。通过估计用户的视线方向，搜索空间可以被表征，例如，表征为有限的。结果的质量可以得到改善，以及处理和网络资源的使用可以被减少。用户的注视点可被估计，并且可以用于搜索和呈现信息，例如，仅呈现与用户正将其视线方向关注到的区域有关的信息。用户的注视点可以用于促进或实现用户的视线方向可以控制的交互性模式和/或用户界面。生物测定技术可以用于估计用户的情绪状态。这个估计的情绪状态可以用于细化被呈现给用户的信息。
相机可以用于获取场景的图像102或视频。GPS可以用于确定移动设备的地理位置，例如GPS坐标104，以及陀螺仪可以用于确定相机视野的方向106。该信息可以被发送到服务器108，其可确定WTRU 100是否靠近感兴趣对象和它们是否在相机的视场(field ofview)内。结果可以被提供给AR客户端110，并且AR客户端110可以通过在设备显示器上叠加文字或图像来突出显示这些对象。
在基于位置的AR中，可以基于用户的地理位置选择相关信息(例如，使用GPS或无线网络得到)和/或方向信息(例如，使用陀螺仪或罗盘得到)。这种类型的AR可以与地图或导航应用一起使用，其中用户可能希望找到邻近其位置的商店或服务。
图2A示出结果可以叠加在先前存在的图像或视频上，或者可以覆盖在使用相机获取的图像或视频上。这种技术的一个优点是，相对少的信息可被发送到服务器和从服务器接收；因此，通信开销可被减少，并且响应时间可以得到改善。但是，地理位置和/或方向信息可能是不准确的，相机的视野可能被阻挡，和/或相机可能指向不相关的对象。这些条件可能导致不正确的或不一致的信息被显示给用户，如在图2B所示，其中相机的视野可以与在屏幕上覆盖的信息没多大关系或没关系。
图3描绘了可实施AR技术的示例系统300，该AR技术可以使用由相机302(例如实时)获取的一个或多个图像，以执行关于在用户的视觉近邻(proximity)中的对象的视觉搜索。视觉搜索可由服务器304(例如，完全由服务器304)执行。例如，一个或多个图像可以由客户端306发送到服务器304，服务器304可以执行搜索。然后结果可以被发送回客户端306用于通过客户端306显示。该方法可以卸载大部分处理到服务器304，但可能涉及可能的大量信息通过网络308传输，这可能增加时延(latency)。
图4描绘了示例性系统400，其可实施AR技术，其中部分处理可以由客户端402来完成(例如，“客户端-服务器”模型)。客户端402可以从所获取的图像提取相关特征，以得到描述符集合，服务器404使用该描述符集合来执行搜索。用这种方法，通过网络406发送的信息量可以显著减少，改善了系统响应时间。然而，在客户端402的处理需求可能增加。如果客户端能力高，数据库408的子集可以缓存在客户端402以进一步改善系统性能。
用户可以获取在各种条件(例如，照明、闭塞、相机倾斜等)下的图像或视频。改善系统鲁棒性可以改善在这些条件下的性能。另外，减少搜索时延可以改善实时操作。为了改善视觉搜索的性能，视觉搜索可以在服务器上的可用的数据子集上进行。举例来说，例如通过考虑接近用户位置的位置，不相关的数据可以被限制。
呈现给用户的信息可以对应于在设备显示器上显示的视图，从而增加其相关性。然而，对于客户端-服务器模型，处理时间可以花在针对用户不感兴趣的对象的描述符提取上。进一步地，对于服务器为中心的系统，查询图像可以从客户端发送到远程服务器。这可能会造成显著的网络流量。
其它问题可能与用户界面有关。例如，搜索可能导致大量的匹配对象，潜在地复杂化在屏幕上的注释。
图5示出了示例屏幕截图502。如果系统无法知道所显示的对象中哪些对用户是重要的，它可能会发现很难或不可能减少显示的对象的数量。有些用户可能会遇到信息过载，因为他们可能被呈现与他们无关的结果。另外，对于小屏幕，或者如果注释是重叠的，从多个结果中选择特定结果可能是有挑战性的。
图6描绘了示例AR系统600，其可以使用基于位置和视觉搜索技术。基于位置的搜索可以使用来自传感器602(如GPS)和无线网络的输入，以估计用户的位置。该位置可以被提供给服务器604，服务器604可以在在设备的显示器606上向用户呈现结果之前执行搜索。视觉搜索可以通过从获取的图像(例如由相机608获取的图像)提取特征(例如描述符)来执行。该信息可以作为请求的部分被发送给服务器604。一个示例特征提取算法被称为尺度不变特征变换(SIFT)610，但也可使用其它算法。可以被使用的图像检索算法被称为“特征包(bag of features)”612。这些特征可以用于创建可被发送到服务器604以得到更多相关结果的检索请求。其它输入方法(如语音识别)可以用来创建检索请求。
示例AR系统600可以包括客户端614，其可以具有实施视觉搜索的能力且可以维持本地数据库616来加速计算和减少网络流量。本地数据库616可以通过收集被发送到和接收自服务器604的请求和相应结果被建立。为了维持结果的相关性并避免提供过时结果，本地数据库616可在一段时间后删除结果。本地数据库616可以使用一个或多个位置准则删除结果，例如当用户改变位置时，一些结果可以从缓存中删除，因为结果可能是不太可能被再次需要，或基于缓存的内容是否仍然可以从用户的当前位置可观看到。例如，内容结果可基于用户的当前位置和与内容结果相关联的位置的比较从缓存中删除。如本文所述，视觉搜索可在服务器(例如仅在服务器)处被实施。在这种情况下，本地搜索可被省略。
图7描绘示例AR用户界面702，其可以由AR系统呈现，诸如GOOGLE系统。AR用户界面702可用于允许用户执行可以由智能电话执行的功能。如图7所示，各种信息(例如，图标、警报、方向箭头和/或其他视觉提示)可以在AR用户界面702上显示，例如可以被投射在可穿戴电子设备的表面上。随着AR变得与可穿戴电子设备(如眼镜或隐形眼镜)更紧密地结合，视觉搜索功能将改善这种设备的功能。
具有视觉搜索功能的AR系统可以实现检索关于相机的视场中的对象的信息。然而，使用一些视觉搜索技术，被呈现的信息的至少一些可能用户不感兴趣。另外，系统和网络资源可能被用在用户不感兴趣的搜索结果。进一步地，用户界面可能使用起来很麻烦。
根据公开的主题，呈现给AR系统的用户的信息的相关性可以单独或组合使用许多技术得到改善。用户的注视点可以被估计，并且信息可以在用户正将其视线方向关注到的区域(例如，仅在区域)中被呈现。估计的用户的注视点可用于实现或促进用户的视线方向可以控制的交互性模式和/或用户界面。生物测定技术可用于估计用户的情绪状态，以进一步细化呈现给用户的信息。
注视驱动的视觉搜索引擎可用于改善在AR系统中的搜索结果的相关性和/或质量。图8描绘了示例注视点检测系统800。应该理解的是，图8中所示的特定架构以外的架构可以被实施。面向用户804的一个或多个相机802可以获取一个或多个图像，其可以用于确定人体特征(例如，脸、鼻、耳)的存在，以促进人眼的识别。如果一个或多个相机802靠近用户的脸，它们可以获取足够分辨率的图像，以促进注视点的估计。针对可穿戴设备，相机可以被置于面向用户的眼睛的设备本身上，实现注视点检测。
注视点检测子系统806可以使用一个或多个眼睛注视点方向估计和/或检测技术来估计和/或检测视线方向。感兴趣区域(ROI)子系统808可以确定相机获取的图像814上的ROI 812的坐标810。ROI的尺寸和精确检测的置信(confidence)水平可以通过用于注视点检测的一个或多个技术来确定。这些参数的任一者或两者可以由系统800使用来确定执行搜索所在的ROI的尺寸。
注视点检测可以基于各种技术中的任何技术，并且可以使用安装在用户的头部的设备或低侵入性系统(例如，远程或非头戴式系统)。例如，注视点检测系统可分析眼睛的图像，并且可以通过计算由瞳孔中心和一组由红外线照明器在眼睛中生成的闪光定义的矢量来确定注视方向。为了增加矢量的分辨率，可以使用具有窄视场的相机。维持眼睛在图像中心，相机可以移动以跟随眼睛并补偿头部运动。
另一个示例注视点检测系统可允许用户的眼睛位置和注视方向的近实时的组合跟踪。这样的系统可以使用安装在显示器的左侧和右侧的两个摄像机，并且可以使用面部特征检测以确定眼睛中瞳孔的位置。角膜反射方法可以用于确定注视方向。例如，低功率红外发光二极管(LED)阵列可以照亮眼睛并且可以在角膜表面上产生亮点。算法可以识别和定位瞳孔和角膜表面反射两者的中心。两个中心之间的距离和它们的方向(例如，注视矢量)可提供注视方向的测量。
图9示出示例眼睛跟踪系统900，其可使用例如包括网络摄像头和红外照明的组件。图9示出这样的系统可以如何确定注视的方向，例如基于所确定的瞳孔中心902和屏幕906在用户眼睛中的反射904。
图10示出了使用注视点检测以限制在ROI上的搜索的示例。来自用户的ROI的特征可被发送到服务器，其中该搜索可以发生。在仅服务器的方法中，服务器可以使用客户端提供的ROI信息进行特征提取。与服务器的通信可以通过首先执行本地搜索而被减少。
在1002，注视点可以被确定。在1004，ROI可以例如被客户端识别。在确定了用户的ROI后，搜索的范围可以被进一步细化。
图11A示出了相同的ROI可以根据到目标的距离产生不同的结果。当用户接近目标时，在搜索中可以只找到对象A。如果用户远离目标，对象A-E可在搜索中被找到。为了解决这种情况，当找到多个感兴趣对象时可以自适应调整ROI的尺寸。这在图11B中被示出，其中原始ROI的尺寸被缩小以减少感兴趣对象的数量。当感兴趣对象的数量高于阈值时，ROI尺寸的自适应可以通过注视、通过按下按钮、通过语音命令或自动地触发。
回到图10，如果所确定的注视点的置信大于最小阈值，则可以确定ROI(在1004)。客户端可以在ROI中执行特征提取(在1006)。客户端可以将从ROI得到的特征发送到服务器(在1008)。服务器可以执行在所确定的ROI上的搜索，并可以返回结果到客户端(在1010)。客户端可以显示关于从ROI提取的特征的相关信息(在1012)。
作为使用注视点检测的结果，视觉搜索可以关注到ROI中或周围。从ROI提取相关特征可以减少用于进行搜索的处理需求，减少可以被发送给服务器的信息量和/或改善显示给用户的结果的相关性。
系统可以在用户的视线方向关注的区域中呈现结果。不同的用例可以发生在用户正在寻找特定对象且可能不知道它们在哪时。用户可以提供输入给系统(例如，经由语音命令、键盘或触摸屏)以将搜索引导到用户正在寻找的对象。输入可以是通用的(例如类别，如“博物馆”或“食物”)或特定的(例如“星巴克咖啡”)。用户可以通过将其视线方向导向相机视场中的不同区域来扫描相机的视场。结果可以被显示在估计的ROI中，允许用户确定对象是否在ROI中。用户可以暂时禁用注视驱动特征，使得相机视场内的所有结果被呈现。
注视点方向可以用于改善用户交互和/或促进或实现AR系统中的交互性模式。例如，用户界面可以通过用户的视线方向来控制。在这种类型的界面中，选择菜单或集合可以在显示器上被显示。用户可以使用其眼睛来做出选择。这种交互性模式可以更自然，并且可以比使用手(例如，键盘、鼠标和/或触摸屏)更快。对于一些系统，例如，可穿戴系统，注视驱动交互处理可以是用于交互的自然方法，因为可用于交互的外围设备(例如鼠标和键盘)可能无法使用。
图12描绘了包括注视驱动的用户界面(UI)1202的示例AR系统1200。注视点检测可以由注视点检测子系统1204来确定。该信息可以被传递到交互式处理(例如UI)引擎1206，其中注视点方向和ROI 1208可以与来自相机1210的输入和/或来自基于位置或视觉搜索的结果结合。交互处理可以通过确定用户的注视点是否对应于在相机的视场中的感兴趣对象的位置来实现。如果是这样，则系统可以通过采取对应于感兴趣对象的动作(例如显示关于感兴趣对象的附加信息1212，如用户界面1202中所示)来响应。
图13示出注视驱动的用户界面上使用注视点检测的示例。在1302，客户端可确定在相机的视场中的感兴趣对象。为了改善系统性能，可以首先进行粗视觉搜索，或者可以使用基于位置的搜索。在1304，用户的ROI可以被确定。
用户可以正在看着远处的目标(例如，有许多小商店的远处高楼)，该目标可以具有与其相关联的许多感兴趣对象。在这种情况下，客户端可以自适应地调整ROI的尺寸(在1306)以仅呈现感兴趣的对象的子集。此外，在1308，对象可以被布置和/或图像可被缩放，使得用户能够准确‘注视触发’对象。如果设备不能够缩放图像本身(例如，相机未配备变焦或它的功能是有限的)，附加图像能够从服务器得到。该服务器可以能够提供该设备相机不能通过从远距离相机变焦产生的详细的图片。
在用户的注视已经集中到包含感兴趣对象的ROI达预定秒数之后，客户端可以从服务器或从本地数据库取得关于对象的信息(在1310)，且该信息可以被显示给用户(在1312)。为了改善系统性能，有限量的信息可以初始被取得并显示给用户。
用户可以通过关注在显示器上显示的信息得到关于感兴趣对象的附加信息。在用户的注视已经集中到包含该信息的ROI达预定秒数之后，客户端可以取得关于该对象的更多信息(在1314)，并将其显示给用户(在1316)。客户端还可以调用外部应用(例如，网络浏览器或媒体播放器)，而不是显示附加信息本身。
为了提高AR系统中搜索结果的相关性，用户的情绪状态可以被推断或估计。情绪状态能够包括传统的情绪状态，如喜悦和愤怒，以及生理状态(如疲劳、警觉和/或饥饿)或传统可能不认为是情绪的心理状态(例如，紧张和/或焦虑)。各种传感器，如皮肤电反应(GSR)和/或脑电图(EEG)可用于估计该用户的情绪状态。其它方法(如语音分析、用于从面部表情辨识情绪的先进计算机视觉技术、生物测定和/或其他)也可用于执行这种估计，例如，如在评价值/唤起程度(Valence/Arousal，V/A)表中的点。
图14示出可以用于估计情绪状态的示例模块1400。结果可用于过滤和/或排序被呈现给用户的搜索结果。例如，如果用户是累了，与食品或饮料有关的选择可以比博物馆排名更高。如图14所示，模块1400可以接收来自GSR、EEG和/或其他传感器的数据、相机数据、语音数据和/或其他生物测定数据作为输入。该模块1400可以输出估计的情绪状态，其可以具有评价和唤起程度值和/或可以映射到描述符，例如愤怒、悲伤、快乐和/或放松。
从各种输入估计用户的情绪状态可使用本文中所描述的技术的一个或多个来完成。这些技术中的每一个可以在一个V/A表中产生点。到模块的输入的一些或全部可以是可用的。在V/A表中的可用点可以被结合以在一定程度的置信估计用户的情绪状态。
皮肤电反应(GSR)可以测量皮肤的电导。GSR可以是对情绪(如恐惧、愤怒、惊吓反应)和交感神经反应(如，激起(aroused))高度敏感的。GSR传感器数据可被映射到用户的情绪状态。脑电图(EEG)数据可以用于检测用户的思想、感情和表达并且可具有高度的时间分辨率。
计算机视觉技术可用于从用户的面部表情和姿势辨识情感。年龄、性别、种族、人口、身高和体重可以根据相机输入来估计。
语音分析技术(例如，说话模式识别、机器学习、韵律和声学特征的研究、声音能量、说话速率以及停顿)可用于估计用户的情绪。
一些智能耳机能够测量生物测定数据，如心率、行走距离、走过的步数、呼吸速率、速度、代谢率、能量消耗、热量消耗、恢复时间等。生物测定数据，如呼吸率和心率，可以关联到用户的情绪状态。
如果多个传感器彼此配合使用，则可使用组合来自传感器的输出的平均运算(mean operation)来计算情绪估计。平均运算可以以加权的方式进行(例如，使得来自更容易出错的传感器类型的输出的加权比更精确的传感器类型的输出的加权低)。如果某个传感器不产生输出，则在用于确定情绪估计的平均运算中该输出的加权可以是零。
在得到用户的情绪状态的估计之后，结果可以用于细化到服务器或针对本地搜索的检索请求，或用于过滤被呈现给用户的结果。例如，为了增加结果的相关性，用户的情绪状态可以用于通过添加条件来限制搜索空间。在V/A表中的点可以被映射到可被用作搜索术语中的限定符的对象的类别。因此，搜索结果可以包含与这些搜索术语有关的对象并可以与用户更相关。例如，如果客户端估计该用户是“快乐的”，则可以使用如“购物”或“食物”的术语。作为另一示例，如果状态被估计是“放松的”，则可以使用如“饮料”或者“艺术”的术语。情绪状态也可用于过滤和/或排名结果以增加其相关性。例如，如果客户端估计该用户是“悲伤的”，则与“健康”或“音乐”有关的搜索结果可以在将它们呈现给用户之前被排名更高。作为另一示例，如果状态被估计为“愤怒的”，则与“旅行”或“自然”有关的结果可以排名更高。
图15示出示例注视驱动的AR系统1500。注视驱动的AR系统1500可以包括注视点检测/估计子系统1502和/或情绪状态检测/估计子系统1504。一个或多个面向眼睛的相机1506可用于实现注视点检测。该信息可以用于确定搜索所关注的ROI 1508。相关特征可以从ROI(例如仅从ROI)被提取，潜在地减少进行搜素的处理需求和/或减少可被发送到服务器1510的信息量。
各种传感器，如皮肤电反应(GSR)和脑电图(EEG)传感器1512，可以用于估计用户的情绪状态。其它方法，如语音分析或先进图像分析技术，可用于执行这种估计。结果可以用于进一步缩小搜索范围，潜在地改善显示给用户的结果的质量。
注视驱动的显现和交互处理模块1514可以实现用户与在显示器1516上呈现的结果和选项进行交互。
注视/视觉搜索历史记录可以被存储和/或维持在本地数据库中1518，例如，作为本地搜索模块1520的部分。保持跟踪该历史记录可以减少网络的负担，因为它可以减少客户端和服务器之间的流量。这可以促进将系统扩展到大量客户端。
搜索结果可通过维持用户的配置文件(profile)来改善。用户可以能够例如通过输入生物测定或人口统计信息来配置搜索参数。可替换地，有用户的许可，系统1500可以通过使用传感器、相机和/或其它方法来推断该数据。用户配置文件可以本地维持在客户端1522或维持在服务器1510。
情绪反应也可以是触发与用户最相关的视觉搜索的有用的指导。例如，如果系统1500已在多个场合检测到引起用户的厌恶反应的特定的搜索结果或一类的搜索结果，这个搜索结果或这类搜索结果可以在将来被降低优先级，或者可以完全被过滤掉。例如，系统1500可检测实例，该实例中特定三明治商店(“Harry的三明治”)的AR内容的显示引起用户负面的情绪反应，且结果是系统可以在其将来出现在搜索结果中时给予“Harry的三明治店”的显示较低优先级。如果系统1500后续检测到多个不同三明治商店的AR内容的显示引起用户的负面情绪反应的模式，则系统1500一般可以给予三明治商店的显示较低优先级，或可以给予三明治商店以外的类型的饭店的显示较高优先级。如果系统1500已在多个场合检测到引起用户的欢乐反应(如唤起幸福的表情或微笑)的特定的搜索结果或一类的搜索结果，那么这个搜索结果或这类搜索结果可以在将来被给予较高的优先级。情绪反应历史记录(例如多个记录，包括情绪反应、情绪反应的日期和/或时间、以及唤起情绪反应的AR内容和/或真实内容)可以本地保存或保存在服务器1510。
注视跟踪可以与可穿戴电子设备，如头戴式AR设备(例如，GOOGLE系统)一起使用。用户的注视点的知识可以用来本地化搜索和改善注释的相关性和有效性。注视点检测也能够用于促进或实现与AR应用的交互。例如，通过使用注视驱动的视觉搜索增强AR，搜索结果可以出现在他/她的注视点的附近，例如，仅在附近。通过关注特定的注释，用户可以调用注视的扩展到具有关于感兴趣对象的信息的更详细注释。
图16示出注视驱动的AR用户界面1600。在图16中，图像1602表示用户通过AR用户界面看到的视图。用户可以集中他或她的注视(用圆圈1604表示)在放置在识别的对象旁边的标志(例如详细图像1606中示出的饭店图标)。如果用户集中他或她的视线到标志几秒钟，关于识别出的对象的额外信息可以在屏幕上呈现，在详细的图像1608中显示。
图17描绘了自适应调整ROI的尺寸以减少感兴趣对象的数量的示例。图像1702表示用户通过AR用户界面看到的视图。用户可以将其注视集中到ROI 1704。客户端可确定ROI。如图像1706中所示，ROI 1704可包含用户可能感兴趣的多个对象。客户端可以自适应地调整ROI尺寸以在重叠的窗口1708中向用户呈现有限数量的对象。用户可以将其注意集中到新窗口1708内的对象。客户端可确定新的ROI 1710。如图像1712中所示，随着其缩放能力可能被限制，客户端可以从服务器得到附加图像，并且可以在新的窗口1714中呈现附加信息给用户(例如，“商店营业时间”)。用户可以将其注意集中在新窗口1714，且客户端可启动新的应用(例如，网络浏览器)。
来自服务器的附加图像可以包括预先记录的图像或视频内容。例如，服务器可以具有预先从感兴趣位置、从对应于商家或地标的位置、或者从一条街道或从一组街道可见的所有位置记录的附加图像的数据库。例如，服务器可具有由地理位置索引的连续街道图像的数据库，并且这种图像可以用于显示缩放的ROI的图像。例如，这样的图像可用于显示比从用户设备上可用的相机可得到的图像更详细的图像。服务器可以将在物理世界中的用户的注视点的位置关联和/或匹配到对应于附加图像的位置(如在数据库中索引的)，以识别合适的图像，从而针对给定ROI进行显示。
来自服务器的附加图像可以包括从现场相机获取的图像或视频内容。例如，服务器可以接入具有感兴趣位置的视野、对应于商业或地标的位置的视野或街道视图的视野的一个或多个相机。来自现场相机的图像和/或视频内容可以经由固定连接或经由通信网络为服务器可用。服务器可以将在物理世界中的用户的注视点的位置关联和/或匹配到可用相机的位置，并以这种方式，服务器可以定位合适的相机和/或可确定合适的相机是否可用。服务器可以与相机通信以得到对应于给定ROI的图像和/或视频内容，并且可以传送这些图像到用户设备用于在用户设备上显示。
来自服务器的由用户设备显示的附加图像可以与关于与附加图像的范围相关联的感兴趣对象的信息一起被显示。用户界面可以允许用户选择以这种方式显示的感兴趣对象，或者可以允许用户使用这里公开的技术进一步放大到该图像。
用户界面可以允许用户在附加图像内平移(pan)。例如，如果用户设备是平板电脑计算设备，该设备可以响应于用户以平移模式移动平板电脑计算设备在图17的图像1712中所示的放大视野内平移图像。作为另一示例，如果用户设备是具有头戴式显示器的可穿戴相机设备，则该设备可以响应于平移用户的头部运动在图17的图像1712中所示的放大视野内平移图像。用户设备可以使用在用户设备上的方向传感器检测平移运动，或者可以通过检测来自用户设备的相机的运动推断平移运动。用户设备可以发送更新的信息给服务器，该信息描述平移运动、用户设备方向和/或用户的注视点。作为响应，服务器可以提供对应于该更新的信息的更新的图像，并且用户设备可以显示更新的图像以在附加图像内平移。以这种方式，用户可以在可以具有比使用在用户设备上可用的相机获取的更详细的物理世界的放大视图内导航。
图18A是在其中可以实施一个或多个公开的实施方式的示例通信系统1800的图。通信系统1800可以是向多个用户提供内容，例如语音、数据、视频、消息发送、广播等的多接入系统。通信系统1800可以实现多个无线用户通过系统资源共享(包括无线带宽)访问这些内容。例如，通信系统可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FMDA(SC-FDMA)等等。
如图18A所示，通信系统1800可以包括无线发射/接收单元(WTRU)1802a、1802b、1802c、和/或1802d(其通常或整体上可以被称为WTRU 1802)，无线电接入网(RAN)1803/1804/1805，核心网1806/1807/1809，公共交换电话网(PSTN)1808、因特网1810和其他网络1812。不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 1802a、1802b、1802c、1802d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将WTRU 1802a、1802b、1802c、1802d配置为发送和/或接收无线信号，并可以包括用户设备(UE)、基站、固定或者移动订户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。
通信系统1800还可以包括基站1814a和基站1814b。基站1814a、1814b的每一个都可以是配置为与WTRU 1802a、1802b、1802c、1802d中的至少一个无线交互以促进接入一个或者更多个通信网络，如核心网1806/1807/1809、因特网1810和/或网络1812的任何类型的设备。作为示例，基站1814a、1814b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站1814a、1814b的每一个被描绘为单独的元件，但是应该理解的是，基站1814a、1814b可以包括任何数量互连的基站和/或网络元件。
基站1814a可以是RAN 1803/1804/1805的一部分，RAN 1803/1804/1805还可以包括其他基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。可以将基站1814a和/或基站1814b配置为在特定地理区域之内发送和/或接收无线信号，该区域可以被称为小区(未示出)。小区可以进一步被划分为小区扇区。例如，与基站1814a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站1814a可以包括三个收发信机，例如用于小区的每一个扇区的一个收发信机。在另一个实施方式中，基站1814a可以采用多输入多输出(MIMO)技术，并且因此可以将多个收发信机用于小区的每一个扇区。
基站1814a、1814b可以通过空中接口1815/1816/1817与WTRU 1802a、1802b、1802c、1802d中的一个或多个通信，该空中接口1815/1816/1817可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口1815/1816/1817。
更具体地，如上所述，通信系统1800可以是多接入系统，并可以采用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 1803/1804/1805中的基站1814a和WTRU 1802a、1802b、1802c可以实施例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口1815/1816/1817。WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一种实施方式中，基站1814a和WTRU 1802a、1802b、1802c可以实施例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口1815/1816/1817。
在其他实施方式中，基站1814a和WTRU 1802a、1802b、1802c可以实施如IEEE802.16(例如，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。
图18A中的基站1814b可以是无线路由器、家庭节点B、家庭e节点B或者接入点，例如，并且可以利用任何适当的RAT以促进局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站1814b和WTRU 1802c、1802d可以实施例如IEEE802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中，基站1814b和WTRU1802c、1802d可以使用例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。但是，在另一种实施方式中，基站1814b和WTRU 1802c、1802d可以利用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图18A所示，基站1814b可以具有到因特网1810的直接连接。因此，基站1814b可以不需要经由核心网1806/1807/1809而接入到因特网1810。
RAN 1803/1804/1805可以与核心网1806/1807/1809通信，所述核心网1806/1807/1809可以是被配置为向WTRU 1802a、1802b、1802c、1802d中的一个或多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务的任何类型的网络。例如，核心网1806/1807/1809可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，如用户认证。虽然图18A中未示出，应该理解的是，RAN1803/1804/1805和/或核心网1806/1807/1809可以与采用和RAN1803/1804/1805相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到可能正在利用E-UTRA无线电技术的RAN 1803/1804/1805之外，核心网1806/1807/1809还可以与采用GSM无线电技术的另一个RAN(未示出)通信。
核心网1806/1807/1809还可以充当WTRU 1802a、1802b、1802c、1802d接入到PSTN1808、因特网1810和/或其他网络1812的网关。PSTN 1808可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网1810可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络1812可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络1812可以包括连接到一个或多个RAN的另一个核心网，该RAN可以采用和RAN 1803/1804/1805相同的RAT或不同的RAT。
通信系统1800中的WTRU 1802a、1802b、1802c、1802d的一些或全部可以包括多模式能力，例如WTRU 1802a、1802b、1802c、1802d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图18A中示出的WTRU 1802c可被配置为与基站1814a通信，所述基站1814a可以采用基于蜂窝的无线电技术，以及与基站1814b通信，所述基站1814b可以使用IEEE 802无线电技术。
图18B是示例WTRU 1802的系统图。如图18B所示，WTRU 1802可以包括处理器1818、收发信机1820、发射/接收元件1822、扬声器/麦克风1824、键盘1826、显示器/触摸板1828、不可移动存储器1830、可移动存储器1832、电源1834、全球定位系统(GPS)芯片组1836和其他外围设备1838。应该理解的是，WTRU 1802可以在保持与实施方式一致时，包括前述元件的任何子组合。而且，实施方式考虑了基站1814a和1814b和/或基站1814a和1814b可以表示的节点(如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB或He节点B)、家庭演进型节点B网关和代理节点等可以包括图18B所描绘和这里描述的一些或所有元件)。
处理器1818可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器1818可执行信号编码、数据处理、功率控制、输入/输出处理和/或实现WTRU 1802运行于无线环境中的任何其他功能。处理器1818可以耦合到收发信机1820，所述收发信机1820可耦合到发射/接收元件1822。虽然图18B描绘了处理器1818和收发信机1820是单独的部件，但是应该理解的是，处理器1818和收发信机1820可以一起集成在电子封装或芯片中。
发射/接收元件1822可以被配置为通过空中接口1815/1816/1817将信号发送到基站(例如，基站1814a)，或从基站(例如，基站1814a)接收信号。例如，在一种实施方式中，发射/接收元件1822可以是被配置为发送和/或接收RF信号的天线。在另一种实施方式中，发射/接收元件1822可以是被配置为发送和/或接收例如IR、UV或可见光信号的发射器/检测器。但是，在另一种实施方式中，发射/接收元件1822可以被配置为发送和接收RF和光信号两者。应当理解的是，发射/接收元件1822可以被配置为发送和/或接收无线信号的任何组合。
另外，虽然发射/接收元件1822在图18B中描绘为单独的元件，但是WTRU 1802可以包括任意数量的发射/接收元件1822。更具体的，WTRU1802可以采用MIMO技术。因此，在一种实施方式中，WTRU 1802可以包括用于通过空中接口1815/1816/1817发送和接收无线信号的两个或更多个发射/接收元件1822(例如，多个天线)。
收发信机1820可以被配置为调制将由发射/接收元件1822发送的信号和/或解调由发射/接收元件1822接收的信号。如上所述，WTRU 1802可以具有多模式能力。因此收发信机1820可以包括例如用于实现WTRU 1802经由多个如UTRA和IEEE 802.11的RAT通信的多个收发信机。
WTRU 1802的处理器1818可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风1824、键盘1826和/或显示器/触摸板1828(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器1818还可以输出用户数据到扬声器/麦克风1824、键盘1826和/或显示/触摸板1828。另外，处理器1818可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，如不可移动存储器1830和/或可移动存储器1832。不可移动存储器1830可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移动存储器1832可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中，处理器1818可以从在物理位置上没有位于WTRU 1802上，如位于服务器或家用计算机(未示出)上的存储器访问信息，并且可以将数据存储在该存储器中。
处理器1818可以从电源1834接收电能，并且可以被配置为分配和/或控制到WTRU1802中的其他部件的电能。电源1834可以是给WTRU 1802供电的任何合适的设备。例如，电源1834可以包括一个或多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池、燃料电池等等。
处理器1818还可以耦合到GPS芯片组1836，所述GPS芯片组1836可以被配置为提供关于WTRU 1802当前位置的位置信息(例如，经度和纬度)。另外，除来自GPS芯片组1836的信息或作为其替代，WTRU 1802可以通过空中接口1815/1816/1817从基站(例如，基站1814a、1814b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解的是，WTRU 1802在保持与实施方式一致时，可以通过任何合适的位置确定方法获得位置信息。
处理器1818可以进一步耦合到其他外围设备1838，所述外围设备1838可以包括一个或多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备1838可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图18C是根据实施方式的RAN 1803和核心网1806的系统图。如上所述，RAN 1803可采用UTRA无线电技术通过空中接口1815与WTRU 1802a、1802b、1802c通信。RAN 1803还可以与核心网1806通信。如图18C所示，RAN 1803可以包括节点B 1840a、1840b、1840c，节点B1840a、1840b、1840c的每一个包括一个或多个用于通过空中接口1815与WTRU 1802a、1802b、1802c通信的收发信机。节点B 1840a、1840b、1840c的每一个可以与RAN1803内的特定小区(未示出)关联。RAN 1803还可以包括RNC 1842a、1842b。应当理解的是，RAN 1803在保持与实施方式一致时，可以包括任意数量的节点B和RNC。
如图18C所示，节点B 1840a、1840b可以与RNC 1842a通信。此外，节点B 1840c可以与RNC 1842b通信。节点B 1840a、1840b、1840c可以经由Iub接口与各自的RNC 1842a、1842b通信。RNC 1842a、1842b可以经由Iur接口相互通信。RNC 1842a、1842b的每一个可以被配置以控制与其连接的各自的节点B 1840a、1840b、1840c。另外，RNC 1842a、1842b的每一个可以被配置以执行或支持其他功能，如外环功率控制、负载控制、准入控制(admissioncontrol)、分组调度、切换控制、宏分集、安全功能、数据加密等等。
图18C中所示的核心网1806可以包括媒体网关(MGW)1844、移动交换中心(MSC)1846、服务GPRS支持节点(SGSN)1848、和/或网关GPRS支持节点(GGSN)1850。尽管前述元件的每一个被描绘为核心网1806的部分，应当理解的是，这些元件中的任何一个可以被不是核心网运营商的实体拥有或运营。
RAN 1803中的RNC 1842a可以经由IuCS接口连接至核心网1806中的MSC 1846。MSC1846可以连接至MGW 1844。MSC 1846和MGW 1844可以向WTRU 1802a、1802b、1802c提供到电路交换网络(如PSTN 1808)的接入，以促进WTRU 1802a、1802b、1802c和传统陆地线路通信设备之间的通信。
RAN 1803中RNC 1842a还可以经由IuPS接口连接至核心网1806中的SGSN 1848。SGSN 1848可以连接至GGSN 1850。SGSN 1848和GGSN 1850可以向WTRU 1802a、1802b、1802c提供到分组交换网络(如因特网1810)的接入，以促进WTRU 1802a、1802b、1802c和IP使能设备之间的通信。
如上所述，核心网1806还可以连接至网络1812，网络1812可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
图18D是根据实施方式的RAN 1804和核心网1807的系统图。如上所述，RAN 1804可采用E-UTRA无线电技术通过空中接口1816与WTRU1802a、1802b、1802c通信。RAN 1804还可以与核心网1807通信。
RAN 1804可包括e节点B 1860a、1860b、1860c，但可以理解的是，在保持与实施方式一致时，RAN 1804可以包括任意数量的e节点B。e节点B1860a、1860b、1860c的每一个可包括一个或多个用于通过空中接口1816与WTRU 1802a、1802b、1802c通信的收发信机。在一种实施方式中，e节点B 1860a、1860b、1860c可以实施MIMO技术。因此，e节点B 1860a例如可以使用多个天线来向WTRU 1802a发送无线信号和从其接收无线信号。
e节点B 1860a、1860b、1860c的每一个可以与特定小区关联(未示出)，并可以被配置为处理无线资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图18D所示，e节点B 1860a、1860b、1860c可以通过X2接口相互通信。
图18D中所示的核心网1807可以包括移动性管理实体(MME)1862、服务网关1864和/或分组数据网络(PDN)网关1866。虽然前述元件的每一个被描绘为核心网1807的部分，应当理解的是，这些元件中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。
MME 1862可以经由S1接口连接到RAN 1804中的e节点B 1860a、1860b、1860c的每一个，并可以充当控制节点。例如，MME 1862可以负责WTRU 1802a、1802b、1802c的用户认证、承载激活/去激活、在WTRU 1802a、1802b、1802c的初始附着期间选择特定服务网关等等。MME 1862还可以提供控制平面功能，用于在RAN 1804和采用如GSM或者WCDMA的其他无线电技术的其他RAN(未示出)之间切换。
服务网关1864可以经由S1接口连接到RAN 1804中的eNB 1860a、1860b、1860c的每一个。服务网关1864通常可以向/从WTRU 1802a、1802b、1802c路由和转发用户数据分组。服务网关1864还可以执行其他功能，如在e节点B间切换期间锚定(anchoring)用户平面、当下行链路数据对于WTRU 1802a、1802b、1802c可用时触发寻呼、管理和存储WTRU 1802a、1802b、1802c的上下文(context)等等。
服务网关1864还可以连接到PDN网关1866，PDN网关1866可以向WTRU 1802a、1802b、1802c提供到分组交换网络(如因特网1810)的接入，以促进WTRU 1802a、1802b、1802c与IP使能设备之间的通信。
核心网1807可以促进与其他网络的通信。例如，核心网1807可以向WTRU 1802a、1802b、1802c提供到电路交换网络(如PSTN 1808)的接入，以促进WTRU 1802a、1802b、1802c与传统陆地线路通信设备之间的通信。例如，核心网1807可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关充当核心网1807与PSTN 1808之间的接口。另外，核心网1807可以向WTRU 1802a、1802b、1802c提供到网络1812的接入，该网络1812可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。
图18E是根据实施方式的RAN 1805和核心网1809的系统图。RAN 1805可以是采用IEEE 802.16无线电技术通过空中接口1817与WTRU 1802a、1802b、1802c进行通信的接入服务网络(ASN)。如下面将进一步讨论的，WTRU 1802a、1802b、1802c，RAN 1805和核心网1809的不同功能实体之间的通信链路可以被定义为参考点。
如图18E所示，RAN 1805可以包括基站1880a、1880b、1880c和ASN网关1882，但应当理解的是，当与实施方式保持一致时，RAN 1805可以包括任意数量的基站和ASN网关。基站1880a、1880b、1880c的每一个可以与RAN 1805中特定小区(未示出)关联并可以包括一个或多个通过空中接口1817与WTRU 1802a、1802b、1802c通信的收发信机。在一种实施方式中，基站1880a、1880b、1880c可以实施MIMO技术。因此，基站1880a例如可以使用多个天线来向WTRU 1802a发送无线信号，和从其接收无线信号。基站1880a、1880b、1880c还可以提供移动性管理功能，如呼叫切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量(QoS)策略执行等等。ASN网关1882可以充当业务聚集点，并且负责寻呼、缓存订户配置文件、路由到核心网1809等等。
WTRU 1802a、1802b、1802c和RAN 1805之间的空中接口1817可以被定义为实施IEEE802.16规范的R1参考点。另外，WTRU 1802a、1802b、1802c的每一个可以与核心网1809建立逻辑接口(未示出)。WTRU 1802a、1802b、1802c和核心网1809之间的逻辑接口可以定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。
基站1880a、1880b、1880c的每一个之间的通信链路可以定义为包括用于促进WTRU切换和基站间转移数据的协议的R8参考点。基站1880a、1880b、1880c和ASN网关1882之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 1802a、1802b、1802c的每一个关联的移动性事件的移动性管理的协议。
如图18E所示，RAN 1805可以连接至核心网1809。RAN 1805和核心网1809之间的通信链路可以定义为包括例如用于促进数据转移和移动性管理能力的协议的R3参考点。核心网1809可以包括移动IP本地代理(MIP-HA)1884，认证、授权、计费(AAA)服务器1886和网关1888。尽管前述元件的每一个被描绘为核心网1809的部分，应当理解的是，这些元件中的任意一个可以由不是核心网运营商的实体拥有和/或运营。
MIP-HA可以负责IP地址管理，并可以实现WTRU 1802a、1802b、1802c在不同ASN和/或不同核心网之间漫游。MIP-HA1884可以向WTRU 1802a、1802b、1802c提供到分组交换网络(如因特网1810)的接入，以促进WTRU 1802a、1802b、1802c和IP使能设备之间的通信。AAA服务器1886可以负责用户认证和支持用户服务。网关1888可促进与其他网络互通。例如，网关可以向WTRU 1802a、1802b、1802c提供到电路交换网络(如PSTN 1808)的接入，以促进WTRU1802a、1802b、1802c和传统陆地线路通信设备之间的通信。另外，网关1888可以向WTRU1802a、1802b、1802c提供到网络1812的接入，其可以包括由其他服务提供商拥有和/或运营的其他有线或无线网络。
尽管未在图18E中显示，应当理解的是，RAN 1805可以连接至其他ASN，并且核心网1809可以连接至其他核心网。RAN 1805和其他ASN之间的通信链路可以定义为R4参考点，其可以包括用于协调RAN 1805和其他ASN之间的WTRU 1802a、1802b、1802c的移动性的协议。核心网1809和其他核心网之间的通信链路可以定义为R5参考点，其可以包括用于促进本地核心网和被访问核心网之间的互通的协议。
这里描述的处理和措施可以以任意组合应用，可以应用到其他无线技术，以及用于其他服务(例如不限于用于近邻服务)。
WTRU可以涉及物理设备的标识，或用户的标识，如订阅相关标识，例如MSISDN、SIPURI等。WTRU可以涉及基于应用的标识，例如每应用可以使用的用户名。
以上描述的过程可以用计算机程序、软件和/或固件实施，其可包含到由计算机和/或处理器执行的计算机可读介质中。计算机可读介质的示例包括但不限制为电子信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限制为只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质(如但不限制为内部硬盘和可移动磁盘)、磁光介质和光介质(如CD-ROM盘和/或数字通用盘(DVD))。与软件关联的处理器可以用于实施射频收发信机，其用于WTRU、UE、终端、基站、RNC或任何主计算机。

Claims (10)

1.一种用于向设备的用户提供增强现实AR的方法，该方法包括：
估计所述用户的注视点以定义感兴趣区域ROI，其中所述ROI包括所述用户的视觉近邻中的一个或多个物理对象；
从所述ROI提取图像并创建描述所述一个或多个物理对象的描述符集合；
估计所述用户的情绪状态；
通过将所述描述符集合与所确定的所述用户的情绪状态进行比较并赋予与所确定的所述用户的情绪状态最接近的情绪状态相关的描述符更大的权重，创建描述符子集；
在没有所述用户的输入的情况下，使用所述描述符子集搜索所述ROI中的所述一个或多个物理对象的信息；
接收已基于所述用户的所述情绪状态而细化或过滤的关于所述ROI中的所述对象的信息，以便与所述用户的情绪状态相一致的所述ROI中的所述对象的信息被优先显示给所述用户；以及
当所述用户接近于所述ROI中的所述一个或多个对象时，在所述设备上向所述用户显示由关于所述ROI中的所述一个或多个对象的所述描述符子集优先排列的所述信息。
2.根据权利要求1所述的方法，该方法还包括基于检测到的对象的数量自适应地调整所述ROI的尺寸。
3.根据权利要求1所述的方法，该方法还包括基于用户活动自适应地调整所述ROI的尺寸。
4.根据权利要求1所述的方法，其中通过估计评价值/唤起程度表上的所述情绪状态的点来确定所述用户的所述情绪状态。
5.根据权利要求1所述的方法，该方法还包括使用所述用户的语音识别来确定所述情绪状态。
6.根据权利要求1所述的方法，该方法还包括使用所述用户的面部识别来确定所述情绪状态。
7.根据权利要求1所述的方法，该方法还包括使用所述用户的皮肤电反应GSR或脑电图EEG数据的至少一者来确定所述情绪状态。
8.根据权利要求1所述的方法，该方法还包括从所述ROI提取图像并创建所述对象的特征的描述符的集合。
9.根据权利要求1所述的方法，该方法还包括存储与所述ROI和所述情绪状态相关联的所述信息。
10.一种设备，该设备包括：
处理器，适用于：
估计用户的注视点以定义感兴趣区域ROI，其中所述ROI包括所述用户的视觉近邻中的一个或多个物理对象；
从所述ROI提取图像并创建描述所述一个或多个物理对象的描述符集合；
估计所述用户的情绪状态；
通过将所述描述符集合与所确定的所述用户的情绪状态进行比较并赋予与所确定的所述用户的情绪状态最接近的情绪状态相关的描述符更大的权重，创建描述符子集；
在没有所述用户的输入的情况下，使用所述描述符子集搜索所述ROI中的所述一个或多个物理对象的信息；
从服务器接收关于所述ROI中的一个或多个对象的信息，其中基于所述用户的所述情绪状态细化或过滤关于所述ROI中的所述对象的所述信息，以便与所述用户的情绪状态相一致的所述ROI中的所述对象的信息被优先显示给所述用户；以及
当所述用户接近于所述ROI中的所述一个或多个对象时，在所述设备上向所述用户显示由关于所述ROI中的所述一个或多个对象的所述描述符子集优先排列的所述信息。
CN201480067662.9A 2013-10-11 2014-10-10 注视驱动的增强现实 Active CN105814516B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361889900P 2013-10-11 2013-10-11
US61/889,900 2013-10-11
PCT/US2014/060016 WO2015054562A1 (en) 2013-10-11 2014-10-10 Gaze-driven augmented reality

Publications (2)

Publication Number Publication Date
CN105814516A CN105814516A (zh) 2016-07-27
CN105814516B true CN105814516B (zh) 2019-07-30

Family

ID=51845516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067662.9A Active CN105814516B (zh) 2013-10-11 2014-10-10 注视驱动的增强现实

Country Status (5)

Country Link
US (3) US9922253B2 (zh)
EP (1) EP3055754B1 (zh)
KR (2) KR102154912B1 (zh)
CN (1) CN105814516B (zh)
WO (1) WO2015054562A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154912B1 (ko) * 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
CA2974104C (en) * 2015-01-22 2021-04-13 Huddly Inc. Video transmission based on independently encoded background updates
US9916861B2 (en) * 2015-06-17 2018-03-13 International Business Machines Corporation Editing media on a mobile device before transmission
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10037479B2 (en) * 2015-09-29 2018-07-31 Medstar Health Human-assisted learning in eye tracking applications
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
CN107111381A (zh) * 2015-11-27 2017-08-29 Fove股份有限公司 视线检测系统、凝视点确认方法以及凝视点确认程序
US10616199B2 (en) * 2015-12-01 2020-04-07 Integem, Inc. Methods and systems for personalized, interactive and intelligent searches
US11010956B2 (en) * 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US10622101B1 (en) * 2016-01-06 2020-04-14 United Services Automobile Association (Usaa) Electronic medical record transfer systems and methods
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
WO2017181429A1 (en) 2016-04-22 2017-10-26 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (roi) of a user
US10178293B2 (en) * 2016-06-22 2019-01-08 International Business Machines Corporation Controlling a camera using a voice command and image recognition
US9959792B2 (en) * 2016-09-29 2018-05-01 GM Global Technology Operations LLC System and method to place subjective messages on a vehicle
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
CN106657976B (zh) * 2016-11-17 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种可视范围延伸方法、装置及虚拟现实眼镜
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
US10198068B2 (en) * 2017-02-28 2019-02-05 Microsoft Technology Licensing, Llc Blink detection, tracking, and stimulation
US10877647B2 (en) * 2017-03-21 2020-12-29 Hewlett-Packard Development Company, L.P. Estimations within displays
CN106991169A (zh) * 2017-03-31 2017-07-28 北京小米移动软件有限公司 基于增强现实ar设备的推荐方法及装置
US10388034B2 (en) * 2017-04-24 2019-08-20 International Business Machines Corporation Augmenting web content to improve user experience
US11311188B2 (en) * 2017-07-13 2022-04-26 Micro Medical Devices, Inc. Visual and mental testing using virtual reality hardware
USD835660S1 (en) * 2017-09-21 2018-12-11 Dong-Kwon LIM Display screen with graphical user interface
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
KR101960815B1 (ko) * 2017-11-28 2019-03-21 유엔젤주식회사 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US10521961B2 (en) * 2017-12-10 2019-12-31 International Business Machines Corporation Establishing a region of interest for a graphical user interface for finding and depicting individuals
WO2019122493A1 (en) * 2017-12-19 2019-06-27 Nokia Technologies Oy Gaze dependent foveated rendering apparatus, method, computer program and system
US10510137B1 (en) 2017-12-20 2019-12-17 Lockheed Martin Corporation Head mounted display (HMD) apparatus with a synthetic targeting system and method of use
EP3714318B1 (en) * 2018-01-18 2023-08-30 Valve Corporation Position tracking system for head-mounted displays that includes sensor integrated circuits
KR102565977B1 (ko) * 2018-02-08 2023-08-11 삼성전자주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
US10522143B2 (en) * 2018-02-27 2019-12-31 Microsoft Technology Licensing, Llc Empathetic personal virtual digital assistant
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11093100B2 (en) * 2018-03-08 2021-08-17 Microsoft Technology Licensing, Llc Virtual reality device with varying interactive modes for document viewing and editing
US11343613B2 (en) * 2018-03-08 2022-05-24 Bose Corporation Prioritizing delivery of location-based personal audio
CN108509593A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种显示方法及电子设备、存储介质
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
CN108681940A (zh) * 2018-05-09 2018-10-19 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置及存储介质
CN112219205B (zh) 2018-06-05 2022-10-25 奇跃公司 内容到空间3d环境的匹配
KR102186580B1 (ko) * 2018-08-09 2020-12-03 주식회사 룩시드랩스 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11315325B2 (en) * 2018-10-09 2022-04-26 Magic Leap, Inc. Systems and methods for artificial intelligence-based virtual and augmented reality
US10761597B2 (en) 2018-10-18 2020-09-01 International Business Machines Corporation Using augmented reality technology to address negative emotional states
CN113260425A (zh) * 2018-12-14 2021-08-13 威尔乌集团 用于动态控制视频游戏状态的玩家生物反馈
US11580701B2 (en) 2019-02-20 2023-02-14 Samsung Electronics Co., Ltd. Apparatus and method for displaying contents on an augmented reality device
DE112020000892T5 (de) * 2019-02-22 2021-11-25 Semiconductor Energy Laboratory Co., Ltd. Brillenartiges elektronisches Gerät
WO2020251585A1 (en) 2019-06-14 2020-12-17 Hewlett-Packard Development Company, L.P. Headset signals to determine emotional states
KR102641117B1 (ko) * 2019-08-26 2024-02-27 삼성전자주식회사 영상을 증강하는 방법 및 장치
US11113375B2 (en) * 2019-09-09 2021-09-07 Motorola Mobility Llc Electronic devices with proximity authentication and gaze actuation of companion electronic devices and corresponding methods
US11071484B2 (en) * 2019-11-20 2021-07-27 International Business Machines Corporation Reduce electromagnetic frequency emissions from a mobile device
JP2021114731A (ja) * 2020-01-21 2021-08-05 キヤノン株式会社 撮像制御装置及びその制御方法
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11176751B2 (en) 2020-03-17 2021-11-16 Snap Inc. Geospatial image surfacing and selection
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US20230176648A1 (en) * 2020-05-19 2023-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Personal Device Activation and Unlocking Using Gaze Tracking
US11620855B2 (en) * 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses
CN112346568B (zh) * 2020-11-05 2021-08-03 广州市南方人力资源评价中心有限公司 基于计数器和脑电波的vr试题动态呈现方法和装置
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
WO2023132459A1 (ko) * 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102076387A (zh) * 2008-04-29 2011-05-25 百利游戏有限公司 用于诸如电子游戏机(egm)的游戏装置的生物反馈
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010051160A1 (en) * 2000-01-24 2001-12-13 Jacobs Robert H. Satisfy composition and method of weight control
US20040210159A1 (en) * 2003-04-15 2004-10-21 Osman Kibar Determining a psychological state of a subject
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US20150070262A1 (en) * 2005-09-21 2015-03-12 Richard Ross Peters Contextual annotations of a message based on user eye-tracking data
JP4907443B2 (ja) * 2007-06-13 2012-03-28 株式会社日本自動車部品総合研究所 車両用ドライビングポジション制御装置
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US7937465B2 (en) * 2008-11-21 2011-05-03 The Invention Science Fund I, Llc Correlating data indicating at least one subjective user state with data indicating at least one objective occurrence associated with a user
US7945632B2 (en) * 2008-11-21 2011-05-17 The Invention Science Fund I, Llc Correlating data indicating at least one subjective user state with data indicating at least one objective occurrence associated with a user
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8494215B2 (en) 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
WO2011008793A1 (en) * 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
KR101303648B1 (ko) * 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
US20120004575A1 (en) * 2010-06-30 2012-01-05 Sony Ericsson Mobile Communications Ab System and method for indexing content viewed on an electronic device
KR101337555B1 (ko) * 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US9927940B2 (en) * 2011-06-03 2018-03-27 Massachusetts Institute Of Technology Method and apparatus accounting for independent cognitive capacities in the right vs. left half of vision
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20150153572A1 (en) * 2011-10-05 2015-06-04 Google Inc. Adjustment of Location of Superimposed Image
US9229231B2 (en) * 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US20130204535A1 (en) * 2012-02-03 2013-08-08 Microsoft Corporation Visualizing predicted affective states over time
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US20140049546A1 (en) * 2012-08-16 2014-02-20 The Penn State Research Foundation Automatically computing emotions aroused from images through shape modeling
WO2014047402A1 (en) * 2012-09-20 2014-03-27 MUSC Foundation for Research and Development Head-mounted systems and methods for providing inspection, evaluation or assessment of an event or location
US8928695B2 (en) * 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US10269179B2 (en) * 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9507147B2 (en) * 2013-02-14 2016-11-29 Blackberry Limited Wearable display system with detached projector
US20140280296A1 (en) * 2013-03-14 2014-09-18 Google Inc. Providing help information based on emotion detection
US20160054795A1 (en) * 2013-05-29 2016-02-25 Mitsubishi Electric Corporation Information display device
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP5787949B2 (ja) * 2013-08-28 2015-09-30 ヤフー株式会社 情報処理装置、特定方法および特定プログラム
EP3053158B1 (en) * 2013-09-30 2020-07-15 PCMS Holdings, Inc. Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface
KR102154912B1 (ko) * 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
WO2018021040A1 (ja) * 2016-07-27 2018-02-01 ソニー株式会社 情報処理システム、記録媒体、および情報処理方法
US20190252063A1 (en) * 2018-02-14 2019-08-15 International Business Machines Corporation Monitoring system for care provider

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102076387A (zh) * 2008-04-29 2011-05-25 百利游戏有限公司 用于诸如电子游戏机(egm)的游戏装置的生物反馈
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统

Also Published As

Publication number Publication date
US11250263B2 (en) 2022-02-15
WO2015054562A1 (en) 2015-04-16
EP3055754A1 (en) 2016-08-17
US20180211112A1 (en) 2018-07-26
US20160259977A1 (en) 2016-09-08
US20220092308A1 (en) 2022-03-24
CN105814516A (zh) 2016-07-27
KR102154912B1 (ko) 2020-09-11
EP3055754B1 (en) 2023-08-02
US9922253B2 (en) 2018-03-20
KR20180066276A (ko) 2018-06-18
KR20160068916A (ko) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105814516B (zh) 注视驱动的增强现实
CN110998566B (zh) 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US10372988B2 (en) Systems and methods for automatically varying privacy settings of wearable camera systems
EP3053158B1 (en) Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface
CN106464956B (zh) 触发视频录制的用户兴趣阈值的环境调节的方法和系统
CN104820488A (zh) 用户定向式个人信息助理
WO2018154901A1 (ja) 制御装置及び方法
JP2013114595A (ja) 情報処理装置、情報処理方法及びプログラム
EP3427233B1 (en) Method and apparatus for providing augmented reality services
KR20190104944A (ko) Xr 디바이스 및 그 제어 방법
CN109224432B (zh) 娱乐应用的操控方法、装置、存储介质及穿戴式设备
KR102421862B1 (ko) 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
WO2022206494A1 (zh) 目标跟踪方法及其装置
CN108140124B (zh) 提示信息确定方法、装置、电子设备
CN109144263A (zh) 社交辅助方法、装置、存储介质及穿戴式设备
CN109361859A (zh) 一种拍摄方法、终端及存储介质
JP2015219833A (ja) 混雑度推定システム
CN115103107B (zh) 对焦控制方法、智能终端和存储介质
KR20170083382A (ko) 이동 단말기 및 그의 동작 방법
CN110049234A (zh) 一种成像方法、移动终端及存储介质
KR20110121030A (ko) ４ｄ 영상 인지 프로세서

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant