CN107533375A - 场景图像分析模块 - Google Patents

场景图像分析模块 Download PDF

Info

Publication number
CN107533375A
CN107533375A CN201680025818.6A CN201680025818A CN107533375A CN 107533375 A CN107533375 A CN 107533375A CN 201680025818 A CN201680025818 A CN 201680025818A CN 107533375 A CN107533375 A CN 107533375A
Authority
CN
China
Prior art keywords
analysis
qualified
user
image
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680025818.6A
Other languages
English (en)
Other versions
CN107533375B (zh
Inventor
D·鲁索
T·维莱特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Essilor International SAS
Original Assignee
Essilor International Compagnie Generale dOptique SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Essilor International Compagnie Generale dOptique SA filed Critical Essilor International Compagnie Generale dOptique SA
Publication of CN107533375A publication Critical patent/CN107533375A/zh
Application granted granted Critical
Publication of CN107533375B publication Critical patent/CN107533375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种分析模块(10)，所述分析模块包括：‑通信部件(12)，所述通信部件被安排成用于从安装在头戴式设备(20)上的场景相机(18)接收场景图像，所述场景图像对应于使用者戴着所述头戴式设备(20)时所述使用者面对的环境的图像，‑图像分析部件(14)，所述图像分析部件被安排成用于从自所述场景相机(18)所接收到的图像的预限定的分析区(28)中的预限定元素清单中标识至少一个预限定元素、并且基于所标识的至少一个预限定元素来分析所述场景图像的至少一部分，以及‑反馈部件(16)，所述反馈部件被安排成用于产生反馈数据并且将这种数据发送至所述头戴式设备(20)。

Description

场景图像分析模块
技术领域
本发明涉及一种被安排成用于基于场景图像的分析向头戴式设备的使用者产生反馈的分析模块。
本发明进一步涉及一种包括根据本发明的分析模块的头戴式设备。
背景技术
通常，视觉受损者需要视觉帮助和/或音频帮助来更好地理解现实世界。
头戴式设备可以满足这样的要求。
然而，实际头戴式设备对分析这样的头戴式设备的使用者面对的环境不是最佳的。实际上，这样的设备包括较长的计算时间、延长的使用者响应时间、以及手动确认。而且，这样的设备与使用者的观察能力不相适配。
因此，需要提供一种头戴式设备，所述头戴式设备与使用者相适配并且尤其被适配成用于根据使用者的观察能力、基于所标识的预限定元素来自动分析使用者面对的场景图像。
发明内容
为此，本发明提出了一种分析模块，所述分析模块包括：
-通信部件，所述通信部件被安排成用于从安装在头戴式设备上的场景相机接收场景图像，所述场景图像对应于使用者戴着所述头戴式设备时所述使用者面对的环境的图像；
-图像分析部件，所述图像分析部件被安排成用于从自所述场景相机所接收到的图像的预限定的分析区中的预限定元素清单中标识至少一个预限定元素、并且基于所标识的至少一个预限定元素来分析所述场景图像的至少一部分；以及
-反馈部件，所述反馈部件被安排成用于基于对所述场景图像的至少一部分的分析来产生反馈数据、并且将这种数据发送至所述头戴式设备的所述使用者。
有利的是，根据本发明的分析模块允许对所述头戴式设备的使用者面对的环境进行相关分析。实际上，所述图像分析部件和所述反馈部件允许根据使用者的需要、基于预限定元素对头戴式设备的使用者面对的场景图像进行自动、快速、且最佳分析。
根据实施例，根据本发明的分析模块可以进一步包括以下特征之一或其任何可能的组合：
-所述通信部件被安排成用于实时接收场景图像，所述图像分析部件被安排成用于标识至少一个预限定元素并且实时分析所述场景图像的至少一部分，并且所述反馈部件被安排成用于实时产生并发送反馈数据；和/或
-所述图像分析部件被安排成用于在预限定时间段内在所述预限定的分析区中标识所述至少一个预限定元素后，分析所述场景图像的至少一部分；和/或
-所述图像分析部件被安排成用于在所述头戴式设备的所述使用者确认后分析所述场景图像的至少一部分；和/或
-所述分析模块进一步包括头部移动检测部件，所述头部移动检测部件被安排成用于检测所述头戴式设备的所述使用者的头部移动，并且其中，所述图像分析部件被安排成用于在检测到所述使用者的稳定头部姿势后分析所述场景图像的至少一部分；和/或
-所述分析模块进一步包括眼睛跟踪设备，所述眼睛跟踪设备被安排成用于跟踪所述头戴式设备的所述使用者的眼睛移动，并且其中，所述图像分析部件被安排成用于在检测到所述使用者正注视与所述预限定的分析区相对应的方向后分析所述场景图像的至少一部分；和/或
-所述预限定元素至少包括书写字符，并且对所述场景图像的分析至少包括文本识别；和/或
-所述预限定元素至少包括人脸，并且对所述场景图像的分析至少包括脸部识别；和/或
-所述预限定元素至少包括交通灯，并且对所述场景图像的分析至少包括颜色识别；和/或
-所述预限定元素至少包括路标，并且对所述场景图像的分析至少包括文本/或标志识别；和/或
-所述反馈部件被安排成用于通过对从所述头戴式设备的场景相机接收到的所述场景图像应用图像处理来向所述使用者提供视觉反馈；和/或
-所述反馈部件被安排成用于通过对从所述头戴式设备的场景相机接收到的所述场景图像应用图像处理来向所述使用者提供视觉反馈；和/或
-从包括以下各项的清单中选择所述图像处理：放大、边缘增强、颜色重新映射、文本识别、图案识别、对比度增强、以及亮度增强；和/或
-所述反馈部件被安排成用于向所述使用者提供音频反馈。
本发明还涉及一种头戴式设备，所述头戴式设备包括：
-被适配成有待配戴在使用者的头部上的框架；
-场景相机，所述场景相机被固定至所述框架上并且被适配成用于获取当戴着所述头戴式设备时所述使用者面对的环境的场景图像，以及
-通信单元，所述通信单元被安排成用于将所述场景图像发送至根据以上权利要求中任一项所述的分析模块。
根据实施例，根据本发明的头戴式设备可以进一步包括以下特征之一或其任何可能的组合：
-所述头戴式设备进一步包括根据本发明的分析模块，
-所述头戴式设备进一步包括输出设备，所述输出设备被安排成用于基于所述反馈部件发送的反馈数据向所述使用者输出信号，
-所述输出设备是显示设备和/或音频输出设备。
如从以下讨论中明显的是，除非另有具体规定，否则应认识到，贯穿本说明书，使用如“运算”、“计算”、或类似术语的讨论是指计算机或计算系统或类似的电子计算设备的动作和/或过程，所述动作和/或过程对在所述计算系统的寄存器和/或存储器内表现为物理(如电子)量的数据进行操纵和/或将其转换成在所述计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备内类似地表现为物理量的其他数据。
本发明的实施例可以包括用来执行在此所述操作的装置。此设备可以是为所期望的目的而专门构建的，或此装置可以包括通用计算机或被储存在计算机中的计算机程序选择性地激活或重新配置的数字信号处理器(“DSP”)。这种计算机程序可以存储在计算机可读存储介质中，如但不限于任何类型的磁盘，包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁性或光学卡，或任何其他类型的适合于存储电子指令并且能够耦联到计算机系统总线上的介质。
此处所提出的方法和显示器并非本来就与任何具体的计算机或其他装置相关。各种通用系统都可以与根据此处的教导的程序一起使用，或者其可以证明很方便地构建一个更专用的装置以执行所期望的方法。各种这些系统所期望的结构将从以下描述中得以明了。
此外，并没有参考任何具体的编程语言描述本发明的实施例。将认识到的是，各种编程语言都可以用来实现如在此描述的本发明的传授内容。
附图说明
本发明的其他特征和优点将从权利要求书和以下通过实例而不限于参照附图给出的一些实施例的描述中变得清楚，在附图中：
-图1展示了根据本发明的分析模块的实施例，
-图2表示与使用者戴着根据本发明的头戴式设备时所述使用者面对的环境的图像相对应的示意性场景图像，
-图3表示根据本发明的头戴式设备的实施例，
-图4表示根据本发明的联网数据处理设备，并且
-图5表示根据本发明的进一步实施例的头戴式设备的一部分的示意性表示。
具体实施方式
附图中的元件仅是为了简洁和清晰而展示的并且不一定是按比例绘制的。例如，图中的一些元件的尺寸可以相对于其他尺寸被放大，以便帮助提高对本发明的实施例的理解。
图1展示了根据本发明的分析模块10。分析模块10包括通信部件12、图像分析部件14、以及反馈部件16。
通信部件12被安排成用于从安装在头戴式设备20上的场景相机18接收场景图像。所述场景图像与使用者戴着头戴式设备20时所述使用者面对的环境的图像相对应。
场景图像26被划分为至少两个区：预限定的分析区28以及与预限定的分析区28互补的区。例如，如图2所示，预限定的分析区28与场景图像26的右上侧相对应。
对于分析模块10分析的所有场景图像，预限定的分析区28是相同的。
根据本发明的实施例，预限定的分析区28可以是整个场景图像。
在优选的实施例中，预限定的分析区28是场景图像的一部分，以减少计算时间并且对头戴式设备20的使用者提供快速响应。
预限定的分析区28可以与头戴式设备20的使用者相适配。
而且，预限定的分析区28可以由头戴式设备20的使用者进行配置。例如，所述配置可以通过使用经由蓝牙连接的计算机与头戴式设备20通信来实现。使用者可以例如用计算机鼠标、或者通过输入坐标、或者利用眼睛跟踪设备来指示预限定的分析区28。因此，预限定的分析区28的大小和位置可以由头戴式设备20的使用者来定制。在配置过程中，可以使用像计算机屏幕或电视一样的外部屏幕、或安装在头戴式设备20上的显示设备。这个显示设备可以在配置之后被移除、或者不在标准系统使用过程中使用，以节省电池寿命并且不扰乱标准视力。例如，它可以仅在预限定的分析区28中检测到预限定元素时激活。
图像分析部件14被安排成用于从场景相机18接收到的图像的预限定的分析区28中的预限定元素清单中标识至少一个预限定元素。图像分析部件14进一步被安排成用于基于所标识的至少一个预限定元素来分析所述场景图像的至少一部分。
在优选的实施例中，图像分析部件14被安排成用于基于所标识的至少一个预限定元素来分析所述场景图像的预限定的分析区28。
这些预限定元素可以被划分为不同的预限定元素类别。例如，所述预限定元素类别可以是书写字符、人脸、交通灯、或路标。
每个预限定元素类别可以包括不同的预限定子元素。例如，路标类别可以包括停车标志、禁入标志、或人行横道标志。作为进一步的实例，所述书写字符类别可以是字典中的常见字清单，或者人脸类别可以包括头戴式设备的使用者的朋友和/或熟人的脸部。交通灯类别可以例如包括一个预限定元素、三色交通灯。
预限定元素可以各自对应一种分析，例如像文本识别、脸部识别、颜色识别、或标志识别。
所述预限定元素可以至少包括书写字符。例如，如果使用者正在阅读，则他将书写字符放在预限定的分析区28中并且其头部停止移动以分析场景图像。在这种情况下，对所述场景图像的分析可以至少包括文本识别。所述文本识别可以包括例如对文字、空格、大写字母、标点符号、书写字符颜色的检测和/或识别。
所述预限定元素可以进一步至少包括人脸。作为实例，如果使用者想要识别熟人，则他将人脸放在预限定的分析区28中并且使他的头部不移动以分析场景图像。在这种情况下，所述场景图像的分析可以进一步至少包括脸部识别。脸部识别可以包括对头发颜色、眼睛颜色、脸形和边缘等的检测和/或识别以将自动脸部识别的结果与预限定的脸部数据库进行比较。
所述预限定元素还可以至少包括交通灯。举例而言，考虑了如果使用者正在行走并且想要穿过街道，则他将交通灯放在预限定的分析区28中并且使他的头部停止移动。在这种情况下，所述场景图像的分析还可以至少包括颜色识别。所述颜色识别可以包括对绿色或红色的与亮度分析相关联的检测和/或识别。
所述预限定元素可以进一步至少包括路标。在这种情况下，对所述场景图像的分析可以进一步至少包括文本和/或标志识别。标志识别可以包括对标志颜色、标志形式、标志图案等的检测和/或识别以将自动标志识别的结果与预限定路标清单进行比较。
在优选的实施例中，所述预限定元素至少包括书写字符和人脸以及交通灯和路标，并且所述场景图像的分析至少包括文本识别和脸部识别以及颜色识别和标志识别。
所述预限定元素清单明显不限于以上引用的元素、而是可以包括其他元素。
所述预限定元素可以是包含在元素数据库中、和/或元素清单中、或任何可能的元素索引中的元素。
在优选的实施例中，所述预限定元素包含在预限定元素清单中。
如果所述预限定元素清单包括仅一个预限定元素，则图像分析部件14可以被安排成用于在从场景相机18接收到的图像的预限定的分析区28中标识预限定元素。例如，分析模块10可以被配置成用于仅分析书写字符，并且因此头戴式设备的使用者可以仅在他想要阅读时使用它。
所述预限定元素清单可以存储在图像分析部件14中、和/或远程实体(例如，智能电话、触摸板、计算机、或互联网)中所包括的存储器中。
在优选的实施例中，所述预限定元素清单存储在图像分析部件14中。
而且，当所述预限定元素清单没有存储在分析模块10中时，所述通信部件还可以被安排成用于访问所述预定元素清单。
所述预限定元素清单还可以由头戴式设备20的使用者给出和/或完善。
有利的是，图像分析部件14可以被安排成用于在预限定的时间段内在预限定的分析区28中标识所述至少一个预限定元素后，分析所述场景图像的至少一部分。
所述预限定的时间段被限定为：使用者应将预限定元素维持在预限定的分析区28或任何预限定区中而不使其头部移动以使图像分析部件14开始分析场景图像的时间。
所述预限定的时间段可以为2秒或3秒。有利的是，所述预限定的时间段大于或等于一秒。
根据本发明的实施例，图像分析部件14可以被安排成用于在预限定时间段内在所述预限定的分析区中标识所述至少一个预限定元素后，分析整个场景图像。例如，如果使用者将预限定元素放在预限定的分析区28的边界处，或者如果预限定元素超出预限定的分析区28，则图像分析部件14可能分析整个场景图像。
在优选的实施例中，图像分析部件14被安排成用于在预限定的时间段内在所述预限定的分析区中标识至少一个预限定元素后，分析所述场景图像的预限定的分析区，以减少计算时间并且对头戴式设备的使用者提供快速响应。
图像分析部件可以进一步被安排成用于在所述头戴式设备的使用者确认后分析所述场景图像的至少一部分。
头戴式设备20的使用者的确认可以是语音确认。语音确认可以是头戴式设备20的使用者所说的话。头戴式设备20可以包括例如语音识别传感器30。语音识别传感器30可以位于头戴式设备20的框架24上，如图3所示。
来自头戴式设备的使用者的确认可以进一步是手动确认。手动确认可以是头戴式设备20的使用者对被置于所述设备的框架24上的按钮(未示出)的按压。
来自头戴式设备的使用者的确认还可以是视觉确认。视觉确认可以由眼睛跟踪设备32检测。作为实例，图3展示了眼睛跟踪设备32。例如，在向头戴式设备的使用者显示虚拟确认按钮之后，眼睛跟踪设备在检测到使用者正注视与所述虚拟确认按钮相对应的方向后跟踪使用者的眼睛移动。视觉确认按钮可以显示在安装在头戴式设备20上的显示设备上。视觉确认还可以是长时间眨眼。
而且，图像分析部件14可以被安排成用于在头戴式设备20的使用者确认后分析整个场景图像。
在优选的实施例中，图像分析部件14被安排成用于在头戴式设备20的使用者确认后分析场景图像的预限定的分析区28。
分析模块10可以进一步包括头部移动检测部件34，所述头部移动检测部件被安排成用于检测头戴式设备20的使用者的头部移动。图像分析部件14可以被安排成用于在检测到使用者的稳定头部姿势后分析场景图像的至少一部分。
换言之，头戴式设备20的使用者想要分析场景图像时，他将预限定元素放在预限定的分析区28中并且停止移动其头部。头部移动检测部件34检测使用者的稳定头部姿势并且向分析部件10发送信号，所述分析部件分析场景图像的至少一部分。
头部移动检测部件34可以包括被配置成用于感测所述模块的取向和位置、以及取向和位置的变化的加速度计和/或陀螺仪和/或指南针。
头部移动检测部件34可以被置于头戴式设备20的框架24上，如图3所示。
分析模块10可以进一步包括眼睛跟踪设备32，所述眼睛跟踪设备被安排成用于跟踪头戴式设备20的使用者的眼睛移动。图像分析部件14被安排成用于在检测到使用者正注视与预限定的分析区28相对应的方向后分析场景图像的至少一部分。
换言之，当头戴式设备20的使用者想要分析场景图像时，他将预限定元素放在预限定的分析区28中并且注视预限定的分析区28或任何另一个预定区的方向。
如果不存在眼睛跟踪设备，可以仅使用头部定位来选择预限定区。在这种情况下，使用者只需要验证在安装在头戴式设备上的显示设备中，预限定元素被放在正确的地方。如果不存在眼睛跟踪设备和显示设备，使用者就必须记住预限定的分析区28的位置以将预限定元素放入其中。例如，如果他戴着标准眼镜，则所述眼镜上的小标记可以帮助指示预限定的分析区28，如所述区的颜色变化或轮廓指示。在这种情况下，眼镜必须准确定位在使用者的头部上，就像在预限定的分析区配置阶段期间一样。
在具有眼睛跟踪设备情况下，头戴式设备上不需要显示设备。
眼睛跟踪设备32检测到使用者正注视与预限定的分析区28相对应、或与任何另一个预定区相对应的方向。接着眼睛跟踪设备32向分析部件10发送信号以分析场景图像的至少一部分。
而且，当使用者在至少预限定的时间段期间将预限定元素放在预限定的分析区28中并且注视与预限定的分析区28相对应的方向还不使他的头部移动时，眼睛跟踪设备32可以向分析部件10发送信号。所述预限定的时间段可以大于一秒。例如，所述预限定的时间段可以是2秒或3秒。
眼睛跟踪设备32还可以与反射镜和/或棱镜相组合，以获得与使用者的瞳孔正交的眼睛跟踪光学路径。
而且，可以对眼睛跟踪信息进行平均和删减，以将对眼睛的随机移动和/或眨眼的敏感度最小化。
头戴式设备还可以针对使用者的每只眼睛包括一个眼睛跟踪设备32。
反馈部件16被安排成用于基于对场景图像的至少一部分的分析来产生反馈数据、并且将这种数据发送至头戴式设备20的使用者。
反馈部件16可以被安排成用于通过对从头戴式设备20的场景相机18接收到的场景图像应用图像处理来向使用者提供视觉反馈。
优选地可以从包括以下各项的清单中选择图像处理：放大、边缘增强、颜色重新映射、文本识别、图案识别、对比度增强、以及亮度增强。
换言之，提供给使用者的视觉反馈可以是根据使用者的视觉行为定制的场景图像的图像。例如，对于色盲使用者，改善后的图像可以是具有颜色重新映射的图像，或者对于近视眼使用者，改善后的图像可以是对场景图像的预限定的分析区24的放大。
视觉反馈数据还可以是文本。例如，对于近视眼使用者，如果所述使用者正在行走并且想要分析路标，则视觉反馈可以放大所述路标上书写的文本。
可以在安装在头戴式设备20上的显示设备上提供视觉反馈。
头戴式设备20还可以针对使用者的每只眼睛包括一个显示设备。在这种情况下，可以在所述头戴式设备的两个显示设备上向使用者提供视觉反馈。
在优选的实施例中，在预限定的分析区28中向使用者提供视觉反馈。
所述视觉反馈可以在整个显示器上完成以进行缩放操作、或可以改善反馈效果的其他处理，如具有更多可读字体和/或颜色的文本显示。
反馈部件可以进一步被安排成用于向使用者提供音频反馈。
例如，如果使用者正在读书，则音频反馈可以是与所述书相对应的音频声音。而且，对于色盲使用者，如果使用者正看向交通灯，则音频反馈可以是例如“灯为绿色”或“灯为红色”的语句。
音频反馈可以通过耳机、扬声器、头戴式耳机、或任何可能的音频输出设备来提供。有利的是，音频输出设备36被定位在头戴式设备20的框架24上，如图3所示。音频输出设备36还可以被定位在使用者的耳朵内。
在优选的实施例中，音频输出设备36被定位成尽可能靠近使用者的耳朵。
反馈数据还可以取决于预限定元素和使用者。实际上，例如，当所述预限定元素是交通灯时，色盲使用者可能偏爱音频反馈而不是视觉反馈。作为另外的实例，正在阅读的使用者可能偏爱视觉反馈、例如对场景图像进行缩放，而不是音频反馈。
还可以通过被定位在所述框架上、例如两侧上的用于色盲使用者的多个LED元件(未示出)或用于其他使用者的单一多色LED来完成简单的LED反馈。
此外，反馈部件16可以被安排成用于基于对整个场景图像的分析来产生反馈数据、并且将这种数据发送至头戴式设备20的使用者。
在优选的实施例中，反馈部件16被安排成用于基于对所述场景图像的预限定的分析区28的分析来产生反馈数据、并且将这种数据发送至头戴式设备20的使用者。
此外，通信部件12可以被安排成用于实时接收场景图像，图像分析部件14可以被安排成用于标识至少一个预限定元素并且实时分析所述场景图像的至少一部分，并且反馈部件16被安排成用于实时产生并发送反馈数据。
在本发明的意义上，“实时”是分析模块10的通信部件12接收到场景图像与分析模块10的反馈部件16产生反馈之间的时间少于一秒、例如少于200ms。
有利的是，所述预限定的时间段与实际时间之间的4倍比率提供良好结果。例如，使用者应注视分析区28的预限定的时间段可以为2秒，并且分析模块可以接收并分析场景图像并且产生反馈数据的时间可以为500ms。
现在将描述的根据本发明的实施例的头戴式设备。
图3表示根据本发明的头戴式设备20的实例。所述头戴式设备包括被适配成有待配戴在使用者头部上的框架34、固定至框架24上的场景相机18、并且包括通信单元38。
图3所示的头戴式设备20还包括两个镜片22、语音识别传感器30、眼睛跟踪设备32、头部移动检测部件34、以及音频输出设备36(指向在配戴者头部的左侧(未示出))。
场景相机18被适配成用于获取当戴着头戴式设备20时所述使用者面对的环境的场景图像。
有利的是，场景相机18被定位在头戴式设备20的框架24上。更精确地，场景相机18可以被定位在使用者的两只眼睛之间、或者可以被定位在头戴式设备20的一侧以获取与使用者的一只眼所看到的环境相对应的场景图像。例如，如果所述场景相机被定位在框架24的右侧，则获取与使用者的右眼所看到的场景图像相对应的环境。
场景相机18可以包括电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、或模拟或数字信号输出可以被发送给通信部件12的任何其他图像传感器。
所述头戴式设备还可以针对使用者的每只眼睛包括一个场景相机。在这种情况下，每个场景相机可以被定位在框架的一侧，以获取头戴式设备的使用者的两只眼睛所看到的场景图像。
头戴式设备的镜片22可以是眼镜片或眼镜镜片。镜片22可以符合使用者的光学处方。
镜片22还可以是具有光学功能的有源镜片，所述有源镜片可以适应于使用者的需求。
头戴式设备20还可以包括显示设备40。图5表示显示设备40的实例。所述显示设备允许配戴者透过它看到虚拟图像和/或文本以及现实世界两者。显示设备40可以分为两个区：针对虚拟图像和/或文本的区以及针对现实世界的区。
显示设备40能够显示图像和/或文本。电子驱动系统(存储器+处理器，未示出)将所述图像和/或文本发送至显示设备40以显示出。优选地，它能够在不同的观看方向上显示图像和/或文本。
举例而言，显示设备40可以是液晶显示器、或者使用了与可以是透明或半透明的光导相关联的硅基液晶技术或有机发光二极管技术。
通信单元38被安排成用于将场景图像发送至根据本发明的分析模块10。在以下描述中将更精确地描述通信单元38。
头戴式设备20可以进一步包括根据本发明的分析模块10，如图3所示。
头戴式设备20可以包括输出设备，所述输出设备被安排成用于基于反馈部件16发送的反馈数据向使用者输出信号。
所述输出设备可以是显示设备和/或音频输出设备。如图3所示，所述头戴式设备包括显示设备40和音频输出设备36。
虽然未表示出来，但是头戴式设备20可以进一步包括电源，例如蓄电池和/或其他电子产品。
在优选的实施例中，头戴式设备20的部件和/或设备被安排成使得头戴式设备20的重量在框架24的每侧可以基本上相等。例如，当电源被定位在框架24的右侧时，头戴式设备20的所有部件和/或设备可以位于框架24的左侧。
根据本发明的图4所示的实施例，头戴式设备20与包括分析模块10的远程实体进行通信。
通过不同的通信设备和协议(像蓝牙、紫蜂、WiFi、或其他)可以完成通信。
例如，通信单元38可以被配置成用于与远程实体进行通信，以将对与头戴式设备20的使用者面对的环境的图像相对应的场景图像的至少一部分的分析存储在存储器MEM中、并且基于对所述场景图像的至少一部分的分析来产生反馈数据。
典型地，所述远程实体包括通信单元COM，所述通信单元被配置成用于至少与以下各项通信：头戴式设备20、存储器MEM、至少一个处理器PROC、以及存储在非瞬态计算机可读介质上并且可被所述至少一个处理器执行以便至少基于与头戴式设备20的使用者面对的环境的图像相对应的场景图像的至少一部分的分析来产生反馈数据的程序指令。
所述远程实体可以包括不同的计算对象，如个人数字助理、音频/视频设备、移动电话、MPEG-1、音频层3(MP3)播放器、个人计算机、膝上型计算机、平板电脑、蓝牙耳机、手表、腕带等。
在通信网络/总线可以是互联网的网络环境中，计算对象可以是Web服务器、文件服务器、媒体服务器等，客户端计算对象或设备经由多种已知协议中的任一种协议(如超文本传送协议(HTTP))来与所述服务器通信。
以上已经借助于实施例描述了本发明，这些实施例并不限制总体发明构思。此外，本发明的实施例可以没有任何限制地进行组合。
对于参考了以上说明的实施例的本领域技术人员而言，还提出了很多另外的修改和变化，这些实施例仅以举例方式给出，无意限制本发明的范围，本发明的范围仅由所附权利要求书来决定。
在权利要求书中，词语“包括”并不排除其他的元件或步骤，并且不定冠词“一个(a)”或“一个(an)”并不排除复数。不同的特征在相互不同的从属权利要求中被叙述这个单纯的事实并不表示不能有利地使用这些特征的组合。权利要求书中的任何附图标记都不应当被解释为限制本发明的范围。

Claims (15)

1.一种分析模块(10)，包括：
-通信部件(12)，所述通信部件被安排成用于从安装在头戴式设备(20)上的场景相机(18)接收场景图像，所述场景图像对应于所述头戴式设备的使用者戴着所述头戴式设备(20)时所述使用者面对的环境的图像，
-图像分析部件(14)，所述图像分析部件被安排成用于从自所述场景相机(18)所接收到的图像的预限定的分析区(28)中的预限定元素清单中标识至少一个预限定元素、并且基于所标识的至少一个预限定元素来分析所述场景图像的至少一部分，以及
-反馈部件(16)，所述反馈部件被安排成用于基于对所述场景图像的至少一部分的分析来产生反馈数据、并且将这种数据发送至所述头戴式设备(20)的所述使用者。
2.根据权利要求1所述的分析模块(10)，其中，所述通信部件(12)被安排成用于实时接收场景图像，所述图像分析部件(14)被安排成用于标识至少一个预限定元素并且实时分析所述场景图像的至少一部分，并且所述反馈部件(16)被安排成用于实时产生并发送反馈数据。
3.根据权利要求1或2所述的分析模块(10)，其中，所述图像分析部件(14)被安排成用于在预限定的时间段内在所述预限定的分析区(28)中标识所述至少一个预限定元素后，分析所述场景图像的至少一部分。
4.根据以上权利要求中任一项所述的分析模块(10)，其中，所述图像分析部件(14)被安排成用于在所述头戴式设备(20)的所述使用者确认后分析所述场景图像的至少一部分。
5.根据以上权利要求中任一项所述的分析模块(10)，进一步包括头部移动检测部件(34)，所述头部移动检测部件被安排成用于检测所述头戴式设备(20)的所述使用者的头部移动，并且其中，所述图像分析部件(14)被安排成用于在检测到所述使用者的稳定头部姿势后分析所述场景图像的至少一部分。
6.根据以上权利要求中任一项所述的分析模块(10)，进一步包括眼睛跟踪设备(32)，所述眼睛跟踪设备被安排成用于跟踪所述头戴式设备(20)的所述使用者的眼睛移动，并且其中，所述图像分析部件(14)被安排成用于在检测到所述使用者正注视与所述预限定的分析区(28)相对应的方向后分析所述场景图像的至少一部分。
7.根据以上权利要求中任一项所述的分析模块(10)，其中，所述预限定元素至少包括书写字符，并且对所述场景图像的分析至少包括文本识别。
8.根据以上权利要求中任一项所述的分析模块(10)，其中，所述预限定元素至少包括人脸，并且对所述场景图像的分析至少包括脸部识别。
9.根据以上权利要求中任一项所述的分析模块(10)，其中，所述预限定元素至少包括交通灯，并且对所述场景图像的分析至少包括颜色识别。
10.根据以上权利要求中任一项所述的分析模块(10)，其中，所述预限定元素至少包括路标，并且对所述场景图像的分析至少包括文本/或标志识别。
11.根据以上权利要求中任一项所述的分析模块(10)，其中，所述反馈部件(16)被安排成用于通过对从所述头戴式设备(20)的场景相机(18)接收到的所述场景图像应用图像处理来向所述使用者提供视觉反馈。
12.根据前一项权利要求所述的分析模块(10)，其中，从包括以下各项的清单中选择所述图像处理：放大、边缘增强、颜色重新映射、文本识别、图案识别、对比度增强、以及亮度增强。
13.根据以上权利要求中任一项所述的分析模块(10)，其中，所述反馈部件(16)被安排成用于向所述使用者提供音频反馈。
14.一种头戴式设备(20)，包括：
-被适配成有待配戴在使用者的头部上的框架(24)，
-场景相机(18)，所述场景相机被固定至所述框架(24)上并且被适配成用于获取当戴着所述头戴式设备(20)时所述使用者面对的环境的场景图像，以及
-通信单元(38)，所述通信单元被安排成用于将所述场景图像发送至根据以上权利要求中任一项所述的分析模块(10)。
15.根据权利要求14所述的头戴式设备(20)，进一步包括根据权利要求1至13中任一项所述的分析模块(10)。
CN201680025818.6A 2015-06-29 2016-06-03 场景图像分析模块 Active CN107533375B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306024 2015-06-29
EP15306024.9 2015-06-29
PCT/EP2016/062600 WO2017001146A1 (en) 2015-06-29 2016-06-03 A scene image analysis module

Publications (2)

Publication Number Publication Date
CN107533375A true CN107533375A (zh) 2018-01-02
CN107533375B CN107533375B (zh) 2024-06-18

Family

ID=53546186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025818.6A Active CN107533375B (zh) 2015-06-29 2016-06-03 场景图像分析模块

Country Status (4)

Country Link
US (1) US20180137358A1 (zh)
EP (1) EP3286619B1 (zh)
CN (1) CN107533375B (zh)
WO (1) WO2017001146A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235816A (zh) * 2018-01-10 2018-06-29 深圳前海达闼云端智能科技有限公司 图像识别方法、系统、电子设备和计算机程序产品
WO2023040562A1 (zh) * 2021-09-16 2023-03-23 Oppo广东移动通信有限公司 信息显示方法、近眼显示设备以及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2020147948A1 (en) 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
TWI781404B (zh) * 2019-05-28 2022-10-21 見臻科技股份有限公司 可依據使用情境切換運作模式的眼動追蹤模組
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11467663B2 (en) 2020-07-09 2022-10-11 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource distribution hub
US11460921B2 (en) 2020-07-09 2022-10-04 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource
US11526876B2 (en) 2020-07-09 2022-12-13 Bank Of America Corporation System for calibration of an EEG device for detection of specific brainwave patterns

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001074A1 (en) * 2002-05-29 2004-01-01 Hideki Oyaizu Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
CN101155258A (zh) * 2006-09-27 2008-04-02 索尼株式会社 成像设备和成像方法
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
CN103926694A (zh) * 2013-01-15 2014-07-16 精工爱普生株式会社 头戴式显示装置及其控制方法、以及图像显示系统
CN104065952A (zh) * 2014-07-02 2014-09-24 联想(北京)有限公司 穿戴式电子设备和图像处理方法
CN104349154A (zh) * 2013-08-09 2015-02-11 Lg电子株式会社 眼镜式终端的信息提供设备和信息提供方法
CN104380347A (zh) * 2012-06-29 2015-02-25 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统
CN104427960A (zh) * 2011-11-04 2015-03-18 马萨诸塞眼科耳科诊所 自适应视觉辅助装置
CN104520904A (zh) * 2012-08-10 2015-04-15 赫力环球有限公司 用于针对增强现实视图的布局的方法和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873890B2 (en) * 2004-04-02 2014-10-28 K-Nfb Reading Technology, Inc. Image resizing for optical character recognition in portable reading machine
US8866809B2 (en) * 2008-09-30 2014-10-21 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US20140253702A1 (en) * 2013-03-10 2014-09-11 OrCam Technologies, Ltd. Apparatus and method for executing system commands based on captured image data
KR102157313B1 (ko) * 2013-09-03 2020-10-23 삼성전자주식회사 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
US9406211B2 (en) * 2014-11-19 2016-08-02 Medical Wearable Solutions Ltd. Wearable posture regulation system and method to regulate posture
WO2016113951A1 (ja) * 2015-01-15 2016-07-21 株式会社ソニー・インタラクティブエンタテインメント 頭部装着型表示装置、及び映像表示システム
US9921645B2 (en) * 2015-06-29 2018-03-20 Logitech Europe S.A. Retinal projection device and method for activating a display of a retinal projection device
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
US10311746B2 (en) * 2016-06-14 2019-06-04 Orcam Technologies Ltd. Wearable apparatus and method for monitoring posture

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001074A1 (en) * 2002-05-29 2004-01-01 Hideki Oyaizu Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
CN101155258A (zh) * 2006-09-27 2008-04-02 索尼株式会社 成像设备和成像方法
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
CN104427960A (zh) * 2011-11-04 2015-03-18 马萨诸塞眼科耳科诊所 自适应视觉辅助装置
CN104380347A (zh) * 2012-06-29 2015-02-25 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统
CN104520904A (zh) * 2012-08-10 2015-04-15 赫力环球有限公司 用于针对增强现实视图的布局的方法和设备
CN103926694A (zh) * 2013-01-15 2014-07-16 精工爱普生株式会社 头戴式显示装置及其控制方法、以及图像显示系统
CN104349154A (zh) * 2013-08-09 2015-02-11 Lg电子株式会社 眼镜式终端的信息提供设备和信息提供方法
CN104065952A (zh) * 2014-07-02 2014-09-24 联想(北京)有限公司 穿戴式电子设备和图像处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235816A (zh) * 2018-01-10 2018-06-29 深圳前海达闼云端智能科技有限公司 图像识别方法、系统、电子设备和计算机程序产品
CN108235816B (zh) * 2018-01-10 2020-10-16 深圳前海达闼云端智能科技有限公司 图像识别方法、系统、电子设备和计算机程序产品
WO2023040562A1 (zh) * 2021-09-16 2023-03-23 Oppo广东移动通信有限公司 信息显示方法、近眼显示设备以及电子设备

Also Published As

Publication number Publication date
US20180137358A1 (en) 2018-05-17
CN107533375B (zh) 2024-06-18
WO2017001146A1 (en) 2017-01-05
EP3286619B1 (en) 2024-08-21
EP3286619A1 (en) 2018-02-28

Similar Documents

Publication Publication Date Title
CN107533375A (zh) 场景图像分析模块
KR102354428B1 (ko) 이미지를 분석하기 위한 웨어러블기기 및 방법
US20210407203A1 (en) Augmented reality experiences using speech and text captions
KR102257181B1 (ko) 감각 안경류
US11030917B2 (en) Wearable apparatus and method for monitoring posture
US9390561B2 (en) Personal holographic billboard
JP6095763B2 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
KR20230117236A (ko) 수화-음성 번역을 포함하는 아이웨어
US9182815B2 (en) Making static printed content dynamic with virtual data
US10191282B2 (en) Computer display device mounted on eyeglasses
US10104464B2 (en) Wireless earpiece and smart glasses system and method
US11670157B2 (en) Augmented reality system
KR20160015972A (ko) 웨어러블 디바이스 및 그 제어 방법
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
US12100243B2 (en) Predicting display fit and ophthalmic fit measurements using a simulator
KR20170031722A (ko) 웨어러블 디바이스를 이용한 정보처리 방법
US20220343534A1 (en) Image based detection of display fit and ophthalmic fit measurements
US20230410355A1 (en) Predicting sizing and/or fitting of head mounted wearable device
KR20210070119A (ko) 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템
US20240143267A1 (en) Electronic device for using external device in metaverse and method thereof
US20230020652A1 (en) Image-based fitting of a wearable computing device
CN117616324A (zh) 用于头戴式可穿戴计算设备的基于图像的适配检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180223

Address after: France Sharon Ton Le Pon

Applicant after: ESSILOR INTERNATIONAL

Address before: France Sharon Ton Le Pon

Applicant before: ESSILOR INTERNATIONAL (COMPAGNIE GENERALE D'OPTIQUE)

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant