CN110244819B - 具有光学标记的电子设备 - Google Patents

具有光学标记的电子设备 Download PDF

Info

Publication number
CN110244819B
CN110244819B CN201811139632.0A CN201811139632A CN110244819B CN 110244819 B CN110244819 B CN 110244819B CN 201811139632 A CN201811139632 A CN 201811139632A CN 110244819 B CN110244819 B CN 110244819B
Authority
CN
China
Prior art keywords
electronic device
mixed reality
light
reality system
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811139632.0A
Other languages
English (en)
Other versions
CN110244819A (zh
Inventor
C·D·普雷斯特
M·M·贾基诺
M·S·罗杰斯
Q·A·S·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110244819A publication Critical patent/CN110244819A/zh
Application granted granted Critical
Publication of CN110244819B publication Critical patent/CN110244819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32Fiducial marks and measuring scales within the optical system
    • G02B27/34Fiducial marks and measuring scales within the optical system illuminated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0279Improving the user comfort or ergonomics
    • H04M1/0283Improving the user comfort or ergonomics for providing a decorative aspect, e.g. customization of casings, exchangeable faceplate
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/12Reflex reflectors
    • G02B5/122Reflex reflectors cube corner, trihedral or triple reflector type
    • G02B5/124Reflex reflectors cube corner, trihedral or triple reflector type plural reflecting elements forming part of a unitary plate or sheet
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/28Interference filters
    • G02B5/281Interference filters designed for the infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Position Input By Displaying (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明题为“具有光学标记的电子设备”。本发明公开了可具有光学标记的电子设备。标记可由涂层形成。涂层可被图案化以形成二维光学代码,或者可被图案化以形成轮廓或其他可识别标记结构,帮助提供有关电子设备的信息。具有传感器诸如深度传感器或其他传感器的设备可采集有关电子设备及其标记的信息。该信息可包括有关利用图像传感器捕获的图像的信息,同时电子设备由深度传感器或其他光源的一个或多个光束照明。标记可被配置为在混合现实系统中用作混合现实光学标记。分析混合现实标记图像或其他传感器数据可显示出有关设备类型、设备位置、设备尺寸、设备取向的信息,以及有关标记设备的其他信息。

Description

具有光学标记的电子设备
本申请要求于2018年9月27日提交的美国专利申请No.16/143,812和于2018年3月8日提交的临时专利申请No.62/640,495的优先权,它们均据此全文以引用方式并入本文。
背景技术
本发明整体涉及电子设备,并且更具体地涉及电子设备的光学特征。
混合现实系统具有头部可穿戴设备,其显示覆盖现实世界内容的计算机生成的内容。除头部可穿戴设备之外,用户还可具有蜂窝电话或其他电子设备。混合现实头戴式耳机可能很难或不可能在用户的视野中识别蜂窝电话和其他此类设备的存在。这可能使得很难或不可能为用户提供利用此类电子设备的存在的混合现实特征部。在一些情况下,蜂窝电话和其他电子设备的视觉外观可能不令人满意。
发明内容
本发明公开了可具有光学可区别标记的电子设备。标记可由具有预定义光学特征的图案化涂层或其他结构形成。标记可在可见光照明中可见,并且/或可使用红外光和/或紫外光传感器检测。通过处理传感器读数诸如包含标记的捕获图像,可获取有关电子设备的信息。例如,分析包含系统中的标记的图像可显示有关设备类型、设备位置、设备尺寸、设备取向的信息,以及有关标记设备的其他信息。
标记可由涂层诸如薄膜干涉涂层,光致发光涂层和/或逆向反射涂层形成。标记可被图案化以形成二维条形码,可被图案化以形成轮廓或其他可识别标记结构,和/或可用于形成其他可识别标记结构以帮助提供有关电子设备的信息。
在一些构型中,诸如混合现实系统,具有传感器诸如深度传感器或其他传感器的设备可采集有关电子设备的标记的信息。具有传感器的设备可在执行功能时使用此信息,诸如使用计算机生成的内容覆盖包括标记设备的现实世界内容。采集的信息可包括利用深度传感器中的图像传感器捕获的图像,同时电子设备由深度传感器或其他光源的一个或多个光束照明。在这种类型的布置中,标记可被配置为用作混合现实标记。
如果需要,标记可被配置为加亮显示电子设备的部分,诸如电子设备按钮(例如,通过将标记放置在可移动按钮构件或触摸传感器按钮位置上),可被配置为提供移动动画图形(例如,在具有不同波长的脉冲光的照明环境中),和/或可另外用于提供具有期望光学属性的电子设备。
附图说明
图1为根据实施方案的具有电子设备的例示性系统的示意图。
图2为根据实施方案的例示性电子设备的示意图。
图3为根据实施方案的电子设备中的例示性传感器的图示。
图4为根据实施方案的电子设备的横截面侧视图。
图5为根据实施方案的由在电子设备中的结构上形成的一个或多个子层制成的材料层的横截面侧视图。
图6为根据实施方案的具有颗粒的例示性材料层的横截面侧视图。
图7和图8为根据实施方案的具有逆向反射表面属性的例示性材料层的横截面侧视图。
图9为示出与图1所示类型的电子设备系统中的光相关联的例示性光强度分布的曲线图。
图10为示出根据实施方案的具有逆向反射表面的系统中光强度如何随角度函数变化的曲线图。
图11为根据实施方案的具有标记的例示性电子设备的透视图。
图12为根据实施方案的具有外围设备标记的电子设备的角部的顶视图。
具体实施方式
用户可使用一个或多个电子设备。这些电子设备可包括蜂窝电话、附件和其他设备。用户还可具有混合现实头部挂载设备。头部挂载设备可具有相机和其他传感器,其采集有关现实世界对象位置的信息。头部挂载设备可使用此信息在现实世界内容之上叠加计算机生成的内容。
为了确保在混合现实系统中的头部挂载设备的视野中准确识别蜂窝电话和其他电子设备,蜂窝电话和其他电子设备可具有光学可区别标记(有时称为光学标记或视觉标记)。标记可由图案化材料形成,促进检测用户环境内标记设备的位置和/或有助于提供其他信息(例如,设备标识符信息)。
如果需要,标记可由表现出可识别光谱响应(有时称为光谱反射率代码)、逆向反射材料、光致发光材料、薄膜干涉滤光层的材料,以及有助于头部挂载设备或具有传感器的其他设备采集有关用户环境中电子设备的信息的其他材料形成。在标记和其他标记属性中形成的光谱反射率代码可用作设备类型标识符,可传达有关设备的位置、形状、取向和尺寸的信息,或者可用于传达其他信息。
标记可由涂层或其他结构形成。标记可形成编码图案,用于概述设备的图案和/或其他图案。薄膜干涉滤光层、逆向反射材料层、薄膜干涉滤光片、着色材料和/或其他类型的结构可用于加亮显示按钮和其他设备结构。电子设备诸如头部挂载设备检测的有关标记的信息可用于将计算机生成的内容记录到现实世界内容(例如,呈现与蜂窝电话或其他设备的全部或部分一致的计算机生成内容的重叠)、可用于识别用户可在系统中使用的附件和/或其他设备、可用于协调多个电子设备的操作(例如,以便在多个设备之间显示内容、以便将一个设备用作主设备并且将另一个设备用作从设备、以支持依赖多个设备的相对取向的系统功能等),和/或可用于在具有多个电子设备的系统中促进实现其他增强功能。
图1中示出了包括多个电子设备的例示性系统。如图1所示,系统8包括电子设备诸如电子设备10。例如,系统8可包括两个或多个设备10、三个或多个设备10、五个或多个设备10、少于100个设备10、少于25个设备10、少于10个设备10和/或其他合适数量的设备10。设备10可包括获取有关周围设备的信息的一个或多个设备10A,以及具有帮助通过设备10A获取此类信息的标记的一个或多个设备10B。作为一个示例,设备10A可以是具有相机、结构光深度传感器以及用于在系统8中获取数据的其他传感器的头部挂载设备,并且设备10B可以是蜂窝电话,或者可以是具有可帮助设备10A相对于设备10A识别和定位设备10B的光学标记的系统8中的其他设备(例如,光学混合现实系统标记)。在此类型的环境中,设备10A可为用户提供混合现实内容,并且系统8有时可被称为混合现实系统。
通常,设备10A和10B可以是任何合适的设备,诸如蜂窝电话、电子手表设备、平板电脑、台式计算机、膝上型计算机、电视机、具有显示器的电子设备以及作为家具、车辆或其他嵌入式系统的一部分的其他部件、可穿戴设备诸如腕带,头带,衣服,帽子,头部挂载设备(例如,眼镜、护目镜、头盔等)、用于为平板电脑提供输入的无线铅笔、计算机鼠标、键盘、耳塞和/或其他附件,和/或其他电子设备。如果需要,设备10可包括用于增强识别其他设备的光学标记和用于识别此类设备的传感器(例如,设备10A和10B的特征部不需要相互排斥)。例如,蜂窝电话、头部挂载显示器或其他电子设备可包括用于促进传感器检测的标记,并且可包括用于执行检测操作的传感器。
如图1所示,设备10B可由光40照明。光40可由设备诸如设备10A产生(例如,从传感器诸如深度传感器发出的光),和/或可由一个或多个其他光源11产生。光源11可包括用于产生自然光的太阳和/或可包括人工光源(例如,荧光灯、白炽灯、可见光源诸如可见光发光二极管、卤素灯和/或其他室内和/或室外人造可见光源)。在一些构型中,光源11可包括产生不可见光(例如,一个或多个波长的红外光和/或一个或多个波长的紫外光)的光源(例如,发光二极管、激光、灯等)。在一些构型中,光源11可在一个或多个期望脉冲图案中产生一个或多个期望波长的脉冲光。通常,设备10中的光源11和/或光源可包括一个或多个波长的任何一个或多个人造和/或自然光源(红外、可见和/或紫外)。
由外部光源11发出的光40可在方向42中发出以照明设备10B。由设备10A中的光源发出的光40可在方向44中发出以照明设备10B。设备10B可具有反射光40(例如,作为镜面反射、逆向反射光和/或漫散射光)的光学标记(例如,在红外光、可见光和/或紫外光照明下可在光学上识别的标记),反射光40’可由设备10A中的传感器检测。如果需要,设备10B还可包括光源(发光二极管、激光、灯等),用于产生通过设备10A检测的光(例如,可见光、红外光和/或紫外光)。
为了增强设备10的外观(例如,为了增强设备诸如设备10B的外观使得对用户的肉眼可见),可能希望为设备10提供对用户可见的图案化结构,并且为设备10提供期望外观。作为示例,设备10中的装饰结构、按钮(例如,可移动按钮构件或触敏按钮位置)、外壳结构和/或具有图案化结构的其他结构。这些图案化结构有时可被称为可见光标记,可帮助彼此区别特定按钮,可帮助加亮显示设备或部件的轮廓,并且/或可提供有关设备10和/或设备10使用的其他信息。标记也可用作条形码或其他光学代码(例如,二维矩阵条形码,诸如快速响应代码或其他代码),对齐特征部(例如,将系统8中设备10B的形状和位置通知设备10A)等。标记诸如这些标记可在可见波长和/或其他波长下操作。例如,标记可在红外波长下操作(同时在可见波长下对用户的肉眼可见或不可见),可在紫外波长下操作,也可在多个波长下操作等。
图2为例示性电子设备的示意图。图2的设备诸如例示性设备10可用作图1的设备10A和/或设备10B。如图2所示,电子设备10可具有控制电路30。控制电路30可包括存储和处理电路,诸如与微处理器、电源管理单元、基带处理器、数字信号处理器、微控制器和/或具有处理电路的专用集成电路相关联的处理电路。控制电路30可在设备10中实现期望的控制和通信特征部。例如,控制电路30可用于采集数据,处理采集的数据,并且基于采集的数据执行合适的操作。控制电路30可被配置为使用硬件(例如,专用硬件或电路)、固件和/或软件执行这些操作。用于执行这些活动的软件代码可存储在非暂态计算机可读存储介质上(例如,有形计算机可读存储介质)。该软件代码有时可被称为软件、数据、程序指令、指令、或代码。该非暂态计算机可读存储介质可包括非易失性存储器诸如非易失性随机存取存储器(NVRAM)、一个或多个硬盘驱动器(例如,磁盘驱动器或固态驱动器)、一个或多个可移动闪存驱动器或其他可移动介质等。存储在非暂态计算机可读存储介质上的软件可在控制电路30的处理电路上执行。该处理电路可包括具有处理电路的专用集成电路、一个或多个微处理器、或其他处理电路。
设备10可具有通信电路32。通信电路32可包括有线通信电路(例如,用于通过与连接器相关联的端口发送和/或接收数字和/或模拟信号的电路),并且可包括用于支持与无线设备通信的无线通信电路(例如,射频收发器和天线)。电路32中的无线通信电路可包括无线局域网电路(例如,电路)、蜂窝电话收发器电路、卫星定位系统接收器电路(例如,用于确定位置,速度等的全球定位系统接收器)、近场通信电路和/或其他无线通信电路。使用通信电路32,系统8中的设备10可彼此通信(例如,使得一个设备可采集发送到另一个设备的输入以控制该设备)。
设备10可使用输入-输出设备34接收用户和设备10的操作环境的输入,并且提供输出。输入-输出设备34可包括一个或多个视觉输出设备,诸如显示器14(例如,液晶显示器、有机发光二极管显示器或其他显示器)。输入-输出设备34还可包括按钮、操纵杆、滚轮、触控板、小键盘、键盘、麦克风、扬声器、显示器(例如,触摸屏显示器)、音频发生器、振动器(例如,压电振动部件等)、传感器、发光二极管和其他状态指示器、数据端口等。输入-输出设备34中的传感器36可包括力传感器、触摸传感器、手势传感器、电容式接近传感器、光学接近传感器、环境光传感器、温度传感器、气压传感器、气体传感器、微粒传感器、磁性传感器、运动和方向传感器(例如,基于一个或多个传感器诸如加速度计、陀螺仪和磁力仪的惯性测量单元)、应变仪、包括在红外,可见和/或紫外波长下操作的图像传感器(相机)的传感器、深度传感器(例如,以栅格或其他图案发射光束,并且具有测量目标对象上产生的光点的图像传感器的结构光深度传感器)、使用一对立体传感器采集三维深度信息的传感器、激光雷达(光检测和测距)传感器、雷达传感器、采集用户周围环境的二维或三维毫米波图像的射频传感器(例如,毫米波系统)等。
图3为例示性基于光的传感器诸如深度传感器的示意图。如图3所示,传感器36可包括图像传感器或其他光检测器(例如,参见二维数字图像传感器36B)。图像传感器36B可在红外、可见和/或紫外波长下操作。传感器诸如图像传感器36B可捕获电子设备的图像,包括此类电子设备上显示的任何标记,和/或可捕获用户周围的其他项目的图像。在一些情况下,一个或多个图像传感器36B可捕获已使用光源11的覆盖层自然或人工照明照亮的对象(例如,设备10B)的图像。如果需要,图像传感器36B可捕获通过设备10A中的相机闪光灯或其他光源的输出照亮的对象(例如,设备10B)的图像。
在一些例示性构型中,传感器36(例如,设备10A中的传感器)可包含光源,用于从光源36A发出平行光束(有时称为结构光)。作为示例,光源36A可包含红外激光(或在可见光和/或紫外光波长下操作的激光)的二维阵列。该二维激光阵列或其他结构光源可发出光束阵列(例如,光40的光束)。传感器36B可捕获和处理图像,其包含当这些光束(结构光)照亮设备10B和/或设备10B的其他部分,以及设备10B周围的对象上的标记时形成的光点的图像。通过将标记结合到设备10B中,可促进确定设备10B的三维形状和设备10B相对于设备10A的位置的过程。通常,可在设备10中提供任何合适的传感器36。使用结构光深度传感器是例示性的。
图4为例示性设备诸如图2的设备10的部分的横截面侧视图。如图4所示,设备10可具有显示器诸如显示器14。如果需要,显示器14可在设备10的一个面(例如,正面)上形成,并且外壳结构诸如层24可在相对的面(例如,背面)上形成。如果需要,可使用设备10的其他构型。设备10可具有侧壁部分诸如部分12。如果需要,这些侧壁部分、后外壳和设备10的电子设备外壳的其他外壳部分可由各种材料形成,诸如金属、前玻璃层和/或后玻璃层的整体部分、聚合物、陶瓷、其他材料和/或这些材料的组合。
显示器14可包括显示器覆盖层16(例如,玻璃层或透明聚合物)和显示模块18(例如,形成为设备10的用户呈现图像的像素阵列的显示层)。显示模块18可以是液晶显示器结构、有机发光二极管显示器结构、微型发光二极管阵列或其他合适的显示器。显示器14(例如,覆盖层16)和设备10的外壳结构诸如外壳12和后层24形成设备10的外表面,标记可在该设备上形成。在操作期间,模块18(有时可被称为像素阵列)可呈现通过显示器覆盖层16可见的图像。设备10中的内部部件诸如部件22(例如,电子部件诸如集成电路,传感器等)可安装在一个或多个基板上,诸如设备10内部的印刷电路20。设备10可具有其形状允许用户佩戴设备10的外壳(例如,外壳结构被配置为佩戴在用户头部或其他身体部位),可具有矩形轮廓的外壳(例如,其中设备10为蜂窝电话的构型)和/或可具有其他合适的外壳。
标记可由图案化涂层形成,或者可更深地嵌入到设备10的部分中。如果需要,标记可由外壳结构的部分形成,方法是通过将标记材料结合到注塑模具聚合物外壳结构,通过将聚合物填充材料嵌入孔、槽或在金属外壳结构中形成的其他开口,通过将颗粒或其他材料添加到玻璃或陶瓷外壳结构,或者通过其他方式图案化材料以形成光学标记结构作为电子设备外壳的一部分。在一些构型中(例如,当从涂层形成标记时),标记可在基板层的内表面和/或外表面上形成。作为示例,设备10中的透明外壳层、透明显示层、透明窗口层和/或其他透明构件可具有覆盖图案化层的内表面,所述图案化层通过这些层在设备10的外表面形成可见的标记。也可形成外部涂层。标记可在功能构件上形成(例如,形成按钮的一部分的按钮构件)和/或可在设备10的其他部分上形成(例如,外部表面诸如与设备外壳相关联的外部表面)。其中设备10的标记由涂层形成的例示性构型有时在本文中可描述为示例。
涂层可由金属、半导体和/或电介质形成。用于涂层的绝缘材料可包括有机材料诸如聚合物层,和/或无机材料诸如氧化物层(例如,氧化硅、金属氧化物诸如氧化铝等)、氮化物层和/或其他无机绝缘材料。如果需要,涂层可由薄膜干涉滤光层(有时称为二向色层)形成。也可使用能让标记具有期望光学属性的光致发光结构、逆向反射结构和/或其他结构。在期望具有光泽外观的布置中,具有高反射率的金属涂层或具有电介质层的薄膜干涉滤光片(例如,具有交替的较高和较低折射率值的电介层的叠层)可被配置为用作镜面涂层(反射涂层)。
图5示出了可在设备10中用于形成标记的类型的例示性涂层。如图5所示,涂层62可由结构诸如结构60支撑。结构60可以是外壳结构(例如,具有外部可视表面的外壳壁)、透明构件(例如,透明外壳结构或具有外部可视和/或内部可视表面的透明显示器覆盖层),和/或设备10中的其他结构(有时称为支撑层、支撑结构、基板等)。层62可在结构60的内部和/或外部表面上形成。层62可具有一个或多个子层62’。
在一些构型中,层62中的一个或多个子层62’的本体属性可影响层62的光学属性。例如,层62可包括着色材料(例如,含有染料和/或颜料的聚合物)或表现出光致发光的材料(光致发光染料,荧光体等)。该材料可沉积在薄(接近光的波长)或厚层中,并且可用于调节层62的光透射、反射和吸收。
在其他构型中,层62’的薄膜干涉属性用于提供具有期望光学属性的涂层62。作为示例,层62可包括N个子层62’(其中N是至少3、至少5、至少7、至少10、至少20、至少40、小于200、小于100或其他合适数量),每个都相对较薄(例如,小于10微米、小于3微米、至少0.05微米等),并且共同形成具有期望光学属性的薄膜干涉滤光片,诸如在红外、可见和紫外光谱的适当部分之间的期望反射、透射和吸收。
涂层62’可包括电介层(例如,无机电介质层,诸如氧化硅、氮化硅、氧化钛、氧化钽、氧化锆、氧化铝等和/或聚合物层)。在层62的薄膜干涉滤光片构型中,层62’可具有期望折射率值,诸如交替的高折射率和低折射率(例如,以形成薄膜干涉镜,以形成在红外波长比在可见光波长具有更高反射率的薄膜干涉滤光片等)。如果需要,可将金属层、半导体层和/或其他材料层结合到层62中。
如图6所示,层62’中的一个或多个可由具有嵌入颗粒66的材料64形成。颗粒66可包括光散射颗粒(例如,折射率为至少1.8、至少1.9、至少2.0、小于2.1,或当嵌入较低折射率材料时表现出高散射的其他合适材料)。材料64可以是电介质诸如聚合物,或者可以是具有折射率与颗粒66的折射率不同的无机材料。在一些构型中,颗粒66可由中空微球、低折射率材料颗粒和/或其他低折射率结构形成。
在一些构型中,颗粒66可以是光致发光,并且可响应于泵浦光的应用在一个或多个选定波长发光(例如,在一个或多个比发出波长更短的波长下的光40)。颗粒66也可形成反射表面以帮助反射光40。如果需要,颗粒66和/或材料64可具有带期望光学属性的本体吸收属性。例如,颗粒66和/或材料64可反射比可见光更多的红外光,使得来自传感器36(图3)的光40的红外线光束将强烈反射(例如,参见反射光40’),因此增强对传感器36B的可见性,不会使由层62’形成的标记对用户不必要地可见。
图7为例示性构型中的层62’的横截面侧视图,其中层62’具有逆向反射表面。作为示例,图7的层62’可以是层62中的层62’的最上或接近最上的层。颗粒66’可以是球体(例如,玻璃球体)或其他逆向反射颗粒。使用这些颗粒,光40的入射光线将朝向光40的光源向后反射(例如,反射光线40’将跟踪入射光线40的路径)。此类型的布置可用于帮助使设备10B上的标记对设备10A中的传感器强烈可见(例如,通过增强由图3的发光部件36A朝向图3的图像传感器36B发出的光40的反射)。由图7的层62’形成的逆向反射层可形成作为涂层62中的最上层62’(或底层62’)(作为示例)。
如图8所示,可为设备10中的标记形成其他类型的逆向反射表面。在图8的示例中,质地表面已在层62上形成。质地表面具有突起部68,并且形成逆向反射器的反射成角度表面70。这使得光40的入射光线沿着其入射路径作为光40’向后反射(逆向反射)。如果需要,逆向反射表面可由图7和图8的逆向反射表面结构的组合形成,并且/或可由其他逆向反射涂层形成。图7和图8的示例是例示性的。
图9示出了层62中的光致发光材料如何用于在感兴趣的一个或多个波长下产生发射光。在系统8中的设备10的操作期间,设备10A中的光源11和/或光源可在一个或多个泵浦光波长下发射泵浦光(例如,参见波长WL1的泵浦光)。泵浦光可以是紫外光、可见光和/或红外光。由于层62中存在光致发光材料,因此泵浦光使得光致发光材料根据光致发光原理在一个或多个较长波长发光(例如,波长WL2…WLN)。在这些特定已知波长发光的标记可使用图像传感器(例如,参见图3的传感器36B)或其他基于光的一个或多个检测器检测。通过分析来自标记的反射光(光40’)的光谱成分和标记的其他属性(例如,标记的形状等),设备10A可获取有关设备10B的信息(例如,设备类型、相对于设备10A的设备位置、设备形状、设备位置等)。作为示例,在波长w1和w2发光的第一涂层可用于形成蜂窝电话的标记,并且在不同波长w3和w4发光的第二涂层可用于形成手表设备的标记。通过分析来自目标设备上的标记的反射光40’的光谱(例如,使用颜色数字图像传感器或分析来自反射光40’的光谱的其他传感器),设备10A可确定在设备10A的视野中的给定设备是蜂窝电话还是手表,或者可提取有关设备10B的其他信息。
在设备10B包括逆向反射结构的系统8的构型中(例如,由逆向反射涂层形成的标记),入射光将沿着与原始入射光相同的路径反射回到其光源。作为示例,考虑图10所示的场景,其中光40以AI角度入射到设备10B(例如,相对于设备10B上的逆向反射标记表面的表面法线的角度AI)。此光40可具有强度-角度分布,诸如强度分布72。在没有逆向反射标记结构的情况下,光40将沿着角度AI弱反射回来(例如,参见光强度分布76,其对应于非逆向反射表面的均匀散射光,诸如漫反射光)。在存在逆向反射结构的情况下(例如,由包括图7和/或图8的逆向反射层62’的逆向反射涂层62形成的标记),反射光40’将具有分布74所示类型的强度分布(即,反射光40’沿着路径具有强烈的强度,其相对于标记62的表面法线具有与入射光40相同的角度取向)。
图11为具有例示性光学标记结构(光学标记)80的例示性电子设备10B的透视图。标记80可由图案化涂层诸如图5的涂层62和/或其他标记结构形成(例如,由外壳层中的开口形成的标记,由外壳结构的部分形成的标记或包含标记材料的其他设备结构等)。可使用剥离技术、蚀刻、阴影掩模沉积技术、机械加工、激光图案化和/或其他合适的图案化技术图案化涂层诸如涂层62。涂层62可被图案化以形成十字形、点、正方形、非对称形状(例如,非对称十字形,非对称光点等)、栅格(例如,参见图11的设备10B中心中的栅格形状标记80)、环(例如,沿着设备10B的外围设备的一些或全部延伸的外围设备环)等。具有开关和可移动按钮构件和/或触摸传感器按钮的按钮可使用标记80标记(例如,参见按钮80M)。
在一些构型中,标记80可均匀分布(例如,在设备10的四个拐角中的每个拐角可存在至少一个标记80,以帮助标定设备10的轮廓)。在其他构型中,标记80可分布在允许设备10A确定设备10B是否已旋转和翻转等的图案中。例如,设备10B的外壳的不同拐角可提供不同数量的标记80,使得设备10A可确定设备10B是否已旋转(例如,在设备10B所在的表面平面中静止)。标记80可在设备10B的背面、设备10B的正面、设备10B的外壳侧壁和/或侧壁安装的按钮的部分,和/或设备10B的其他合适的部分上形成。
图12为设备10B的拐角部分的顶视图,示出如何沿着设备10B的周边边缘部分PP形成标记80(例如,周边外壳结构诸如金属周边外壳带、周边外壳结构诸如围绕设备10B的周边延伸并且形成平面后壁的整体部分的侧壁、形成显示器14或设备10B中的其他部件的边框或装饰的其他结构等)。在图12的示例中,沿着设备10B的外围边缘存在一系列标记80。如果需要,可使用单个条形标记或其他标记图案指示设备10B的外围设备所在的位置。
在操作期间,设备10A可使用传感器36在一个或多个波长形成设备10B的数字图像,或者以其他方式使用传感器36在设备10B上进行光谱测量和/或其他基于光的测量。设备10B上的标记可使用预先确定的颜色图案、反射率、光吸收、光透射、标记形状、标记取向等进行编码。在一些构型中,标记10B可形成二维条形码或其他编码的光学图案,其包含有关设备10B的信息(例如,设备类型、设备序列号或其他识别信息等)。作为示例,此类代码可以是设备特定或设备型号特定(设备类型特定)代码。当一个或多个设备10B存在设备10A时,设备10A可使用传感器36感测每个设备10B(例如,使用成像和其他基于光的检测技术,并且如果合适,使用条形码解码操作)。该感测操作可涉及发射结构光、一个或多个扫描光束、覆盖层照明或其他设备发射光40,并且/或可涉及使用一个或多个天然和/或人工外部光源11发射光40。
发射光40可具有预先确定的空间特征(例如,光40可以是在平行光束阵列中发射的结构光),可具有预先确定的光谱特征(例如,光40可包含光的一个或多个预先确定的波长),可具有预先确定的时间特征(例如,光40可在一个或多个不同的波长以预先确定的脉冲图案发出),并且/或可具有其他已知的特征。标记80可包含光谱反射率代码(已知反射率与波长特征),以及有助于标记80将有关设备10B的期望信息输送到设备10A的其他预先确定的属性。由于发射光40和由发射光40照亮的每个设备10B上的标记80之间的相互作用,将产生具有相应特征的反射光40’。例如,如果光40包含波长wa、wb和wc的光,并且如果设备10中的给定标记80被配置为反射波长wa的光的80%、波长wb的光的30%和波长wc的光的50%,则设备10A可确定给定标记(和设备10B)是否存在,方法是通过分析在所有三个波长中的每个波长作为反射光40’所接收的光40的量。
如果希望在暴露于不同照明条件期间提供设备10B上具有不同可见光外观的按钮或其他设备结构,则可为设备10B的按钮和其他部分(例如,周围外壳结构)提供适当的标记涂层。作为示例,如果希望加亮显示可按下以帮助用户使设备10A在荧光环境照明条件期间输出暖(低色温)闪光照明的按钮,则该按钮和周围外壳结构可具有拥有调谐光反射光谱的相应涂层,使得按钮在荧光照明中看起来比设备10B中的周围结构更亮,但是在阳光下看起来具有与周围结构相同的亮度。
在一些布置中,涂层62可被图案化以反射和/或发光,以响应于来自光源11的一个或多个波长的光的随时间变化的图案。当来自光源11的光40具有特定脉冲序列时,可产生动画效果。例如,第一层62可形成反射波长wla周围的窄波长范围内的光的第一图案(例如,通过形成仅反射该范围内的光的薄膜干涉滤光片),并且第二层62和第三层62可形成第二图案和第三图案,所述第二图案和第三图案分别反射波长wlb和波长wlc周围的窄波长范围内的光。光源11可依次循环输出相应波长wla、wlb和wlc的光脉冲,以产生通过在第一、第二和第三图案之间重复交替反射光而形成的动画图案。该技术可用于形成追光图案,移动动画角色等。
在混合现实环境中,设备10A可使用标记(例如,使用光致发光材料标记的逆向反射和/或标记、具有已知光谱属性的薄膜干涉滤光片、具有已知非对称图案的标记,诸如非对称形状和/或布局等)帮助识别用户的视野中的每个设备10B(例如,传感器36B和/或其他图像传感器设备的视野),并且帮助确定显示器14和这些设备10B内的其他组件的位置。设备10A可使用图像处理技术(例如,图案识别),以确定标记80何时呈现并且从检测的标记提取期望信息。例如,设备10A可处理传感器36的传感器数据以识别设备10B、以识别设备10B的位置(例如,与设备10B的方向和距离)、以识别每个设备10B的旋转取向(例如,其在工作台或其他支撑表面上的旋转取向)、以识别每个设备10B的轮廓、以确定外壳边缘,显示器边缘和/或其他设备特征部的位置,和/或提取有关每个设备10B的其他信息。然后,设备10A可使用其显示器以采取适当的操作(例如,通过覆盖计算机生成的内容,所述内容与设备10B上的显示器14的检测边缘精确对齐)、以覆盖完全或部分遮蔽每个设备10B的内容、以概述或以其他方式在视觉上加亮显示检测的设备10B的位置(例如,允许用户轻松定位和使用设备10B)等。
设备10B可用作输入设备(例如,游戏控制器、导航设备、麦克风等)。每个设备10B中的按钮、触摸屏、手势识别设备和其他输入-输出设备可用作输入,和/或设备10B可用于以其他方式采集输入。作为示例,用户在空中挥动设备10B(例如,键盘),并且设备10A可使用检测的设备10B的运动作为输入,以将设备10A正在显示的虚拟对象移动到用户。作为另一个示例,设备10A可在设备10B中的显示器14上覆盖图像(例如,以创建其中设备10B上的全部或部分图像被设备10A改变的替代现实)。另一个示例涉及通过创建闪烁图标或其他视觉上突出的计算机生成的对象加亮显示鼠标或其他输入设备,该闪烁图标或其他视觉上突出的计算机生成的对象被放置在用户的视野中的检测的设备10B上或附近。设备10A可使用该技术帮助用户在混合现实环境中操作时定位设备10B。通过将虚拟按钮区域与设备10B的特定部分重叠(如使用标记80的模式识别和/或使用传感器36感测的设备10B的其他可检测特征部所识别),还可为设备10B提供虚拟按钮和其他增强特征部。因为标记80可用作混合现实系统中的光学标记(例如,设备10A可光学检测以确定设备10B的位置、取向和其他属性的标记),该类型的标记80有时可被称为混合现实光学标记、光学混合现实系统标记、视觉混合现实标记、混合现实标记或混合现实对齐特征部。要在可见光条件下从视野中隐藏标记80,同时允许设备10A在红外波长下观察对齐标记80,标记80可隐藏在红外波长为透明并且在可见波长为不透明的涂层下(例如,层62’中的上部一个或多个可以是由薄膜干涉滤光片形成的红外透光层和可见阻光层,具有对于红外光透明的可见光吸收材料的聚合物层等)。
根据一个实施方案,提供了一种电子设备,该电子设备包括外壳、包括显示器的外壳中的电子部件以及在外壳的外表面上的混合现实系统光学标记。
根据另一个实施方案,混合现实系统光学标记由薄膜干涉滤光器形成。
根据另一个实施方案,混合现实系统光学标记被配置为提供关于外壳的取向的视觉信息。
根据另一个实施方案,混合现实系统光学标记包括二维条形码。
根据另一个实施方案,混合现实系统光学标记被配置为反射比可见光更多的红外光。
根据另一个实施方案,混合现实系统光学标记包括回射层。
根据另一个实施方案,混合现实系统光学标记包括具有聚合物层和透明球体的回射层,该透明球体部分地突出到聚合物层外。
根据另一个实施方案,电子设备包括按钮,混合现实系统光学标记形成在按钮上。
根据另一个实施方案,混合现实系统光学标记沿着外壳的至少一个周边边缘。
根据另一个实施方案,混合现实系统光学标记包括光致发光材料。
根据另一个实施方案,混合现实系统光学标记包括被配置为形成识别电子设备的光谱反射率代码的材料。
根据一个实施方案中,提供了包括第一电子设备和第二电子设备的混合现实系统,第一电子设备具有第一电子设备外壳、外壳中的第一电子设备部件以及在第一电子设备外壳上的混合现实系统光学标记,并且第二电子设备具有第二电子设备外壳、第二电子设备外壳中的控制电路以及传感器,第二电子设备的控制电路被配置为利用传感器采集关于混合现实系统光学标记的信息,并且通过分析所采集的关于混合现实系统光学标记的信息来确定第一电子设备的位置。
根据另一个实施方案,混合现实系统光学标记包括选自薄膜干涉涂层、光致发光涂层和回射器涂层的至少一种涂层。
根据另一实施方案,传感器包括结构化光深度传感器和图像传感器,结构化光深度传感器具有被配置为发射一组红外光束的光发射器,图像传感器被配置为捕获由红外光束产生的斑点照射的混合现实系统光学标记的图像。
根据另一个实施方案,第二电子设备包括头戴式混合现实设备,并且第一电子设备包括蜂窝电话。
根据另一个实施方案,混合现实系统光学标记包括至少一个二维条形码。
根据另一个实施方案,混合现实系统光学标记被配置为向传感器提供关于第一电子设备的尺寸和取向的信息。
根据一个实施方案,提供了包括电子设备外壳、电子设备外壳中的控制电路以及外壳中的显示器的电子设备,该电子设备被配置为在具有混合现实设备的混合现实系统中使用,该混合现实设备具有发射光并捕获图像的深度传感器,该图像包括在所发射的光已反射离开物体之后所发射的光,电子设备外壳和显示器限定电子设备的外表面以及在外表面的至少一部分上的标记,该标记由图案化回射涂层形成,当深度传感器朝向该标记发射光时,该图案化回射涂层朝向深度传感器反射所发射的光。
根据另一个实施方案,标记被配置为形成二维条形码。
根据另一个实施方案,标记被配置为形成混合现实光学标记,当混合现实设备处理捕获图像时,该混合现实光学标记显示关于电子设备外壳的尺寸和取向的信息。
前述内容仅为示例性的并且可对所述实施方案作出各种修改。前述实施方案可单独实施或可以任意组合实施。

Claims (6)

1.一种混合现实系统,包括:
第一电子设备,所述第一电子设备具有第一电子设备外壳、所述第一电子设备外壳中的第一电子设备部件、所述第一电子设备外壳中的第一显示器、被配置为在所述第一显示器上显示图像的第一控制电路和所述第一电子设备外壳上的混合现实系统光学标记;以及
第二电子设备,所述第二电子设备具有第二电子设备外壳、所述第二电子设备外壳中的第二显示器、所述第二电子设备外壳中的第二控制电路、和传感器,其中所述第二电子设备的所述第二控制电路被配置为:
利用传感器采集有关混合现实系统光学标记的信息;
通过分析有关混合现实系统光学标记的采集信息确定所述第一电子设备的位置;以及
在所述第一控制电路在所述第一显示器上显示图像时,基于所确定的所述第一电子设备的位置使用所述第二显示器显示内容,其中所述内容与所述第一电子设备外壳重叠。
2.根据权利要求1所述的混合现实系统,其中所述混合现实系统光学标记包括选自由以下项构成的组的至少一种涂层:薄膜干涉涂层、光致发光涂层和逆向反射涂层。
3.根据权利要求2所述的混合现实系统,其中所述传感器包括结构光深度传感器,所述结构光深度传感器具有光发射器和图像传感器,所述光发射器被配置为发射一组红外光束,所述图像传感器被配置为捕获由所述红外光束产生的光点照明的混合现实系统光学标记的图像。
4.根据权利要求3所述的混合现实系统,其中所述第二电子设备包括头部挂载混合现实设备,并且其中所述第一电子设备包括蜂窝电话。
5.根据权利要求4所述的混合现实系统,其中所述混合现实系统光学标记包括至少一个二维条形码。
6.根据权利要求2所述的混合现实系统,其中所述混合现实系统光学标记被配置为向所述传感器提供有关所述第一电子设备的尺寸和取向的信息。
CN201811139632.0A 2018-03-08 2018-09-28 具有光学标记的电子设备 Active CN110244819B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862640495P 2018-03-08 2018-03-08
US62/640,495 2018-03-08
US16/143,812 US10969600B2 (en) 2018-03-08 2018-09-27 Electronic devices with optical markers
US16/143,812 2018-09-27

Publications (2)

Publication Number Publication Date
CN110244819A CN110244819A (zh) 2019-09-17
CN110244819B true CN110244819B (zh) 2024-05-14

Family

ID=63720509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811139632.0A Active CN110244819B (zh) 2018-03-08 2018-09-28 具有光学标记的电子设备

Country Status (4)

Country Link
US (2) US10969600B2 (zh)
EP (2) EP3537692A1 (zh)
KR (1) KR102142190B1 (zh)
CN (1) CN110244819B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890700B2 (en) * 2018-09-24 2021-01-12 Apple Inc. Electronic devices having infrared-transparent antireflection coatings
US11049330B2 (en) 2019-06-27 2021-06-29 Facebook Technologies, Llc Color reference for overlaid images
US11049264B2 (en) * 2019-10-03 2021-06-29 Pixart Imaging Inc. Marker detecting device and optical tracking device
US11815693B2 (en) 2020-04-20 2023-11-14 Apple Inc. Head-mounted electronic device
US20220237396A1 (en) * 2021-01-26 2022-07-28 Nec Corporation Of America Invisible coated infrared patterns
KR20220149365A (ko) * 2021-04-30 2022-11-08 삼성전자주식회사 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
US20220390646A1 (en) * 2021-06-02 2022-12-08 Pixart Imaging Inc. Optical tracking device
CN116229472B (zh) * 2023-05-11 2023-08-01 深圳棒棒帮科技有限公司 一种智能笔、书写信息采集系统及批改处理系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1795479A (zh) * 2003-05-28 2006-06-28 3M创新有限公司 一种含有两个部分的安全粘贴标签及其文件系统
CN101304954A (zh) * 2005-11-14 2008-11-12 3M创新有限公司 道路标记、反射元件及制造微球体的方法
JP2010050757A (ja) * 2008-08-21 2010-03-04 Kwansei Gakuin 情報提供方法及び情報提供システム
CN103329120A (zh) * 2010-07-29 2013-09-25 英派尔科技开发有限公司 用于增强现实的基准标记
CN103679108A (zh) * 2012-09-10 2014-03-26 霍尼韦尔国际公司 具有多个图像传感器的光学标记读取装置
CN204044759U (zh) * 2011-12-16 2014-12-24 3M创新有限公司 具有位置唯一的光致发光标记的光学数字化仪系统
CN104981833A (zh) * 2013-03-14 2015-10-14 英特尔公司 替代现实角色的异步显示
CN107609441A (zh) * 2011-06-27 2018-01-19 手持产品公司 具有光学滤波器的可解码标记读取终端
CN107646098A (zh) * 2015-07-07 2018-01-30 谷歌有限责任公司 用于在虚拟现实中跟踪手持式设备的系统
CN206961066U (zh) * 2017-02-28 2018-02-02 深圳市未来感知科技有限公司 一种虚拟现实交互设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5970729A (ja) 1982-10-13 1984-04-21 Kawasaki Steel Corp 金属ストリツプ顕熱回収方法およびその装置
US20090322499A1 (en) * 1995-06-29 2009-12-31 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US6451408B1 (en) * 1995-06-29 2002-09-17 3M Innovative Properties Company Retroreflective article
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US6696126B1 (en) * 1999-08-12 2004-02-24 The United States Of America As Represented By The Secretary Of The Navy Visual-tactile signage
JP2006277283A (ja) * 2005-03-29 2006-10-12 Fuji Xerox Co Ltd 情報処理システムおよび情報処理方法
JP2009047902A (ja) 2007-08-20 2009-03-05 Hitachi Displays Ltd 表示装置
US9734442B2 (en) 2007-10-31 2017-08-15 Ncr Corporation LumID barcode format
KR101337204B1 (ko) * 2009-04-08 2013-12-06 퀄컴 인코포레이티드 향상된 핸드헬드 스크린-센싱 포인터
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20190278091A1 (en) * 2010-10-04 2019-09-12 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20120102438A1 (en) 2010-10-22 2012-04-26 Robinson Ian N Display system and method of displaying based on device interactions
KR101274301B1 (ko) 2011-05-03 2013-06-13 순천대학교 산학협력단 적외선 엘이디 발광영역의 영상 복원을 통한 증강현실 시스템
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US8608073B2 (en) 2012-01-26 2013-12-17 Apple Inc. System and method for robust real-time 1D barcode detection
US9050762B2 (en) * 2012-03-23 2015-06-09 Orafol Americas Inc. Methods for fabricating retroreflector tooling and retroreflective microstructures and devices thereof
US8971568B1 (en) * 2012-10-08 2015-03-03 Gerard Dirk Smits Method, apparatus, and manufacture for document writing and annotation with virtual ink
TW201435830A (zh) 2012-12-11 2014-09-16 3M Innovative Properties Co 不顯眼之光學標籤及其方法
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
WO2014099486A1 (en) 2012-12-21 2014-06-26 3M Innovative Properties Company Photoluminescent retroreflective articles
US9052186B2 (en) * 2013-01-31 2015-06-09 Hewlett-Packard Development Company, L.P. Correspondence mapping between an imaging system and a directional rendering system
RU2660073C2 (ru) * 2013-12-30 2018-07-04 Авери Деннисон Корпорейшн Способ и материал для создания высокой отражательной способности с помощью открытых шариков
US10208439B2 (en) * 2014-08-14 2019-02-19 Brite-Line Technologies, Llc Pavement marking tape with widely-distributed, multi-edged relief features for improved retroreflectivity
US9804257B2 (en) 2014-11-13 2017-10-31 WorldViz LLC Methods and systems for an immersive virtual reality system using multiple active markers
US9659411B2 (en) * 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
US20160339337A1 (en) 2015-05-21 2016-11-24 Castar, Inc. Retroreflective surface with integrated fiducial markers for an augmented reality system
US10163198B2 (en) * 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
EP3438790B1 (en) * 2016-03-29 2021-06-02 Saito Inventive Corp. Input device and image display system
US11210777B2 (en) * 2016-04-28 2021-12-28 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
US11380008B2 (en) * 2016-05-06 2022-07-05 Innovega Inc. Gaze tracking system with contact lens fiducial
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
JP6453501B1 (ja) 2018-02-01 2019-01-16 株式会社Cygames 複合現実システム、プログラム、方法、及び携帯端末装置
US10949994B1 (en) 2018-03-01 2021-03-16 Thomas Byram Scheffler Dynamic marker device for augmented and mixed reality and method of use

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1795479A (zh) * 2003-05-28 2006-06-28 3M创新有限公司 一种含有两个部分的安全粘贴标签及其文件系统
CN101304954A (zh) * 2005-11-14 2008-11-12 3M创新有限公司 道路标记、反射元件及制造微球体的方法
JP2010050757A (ja) * 2008-08-21 2010-03-04 Kwansei Gakuin 情報提供方法及び情報提供システム
CN103329120A (zh) * 2010-07-29 2013-09-25 英派尔科技开发有限公司 用于增强现实的基准标记
CN107609441A (zh) * 2011-06-27 2018-01-19 手持产品公司 具有光学滤波器的可解码标记读取终端
CN204044759U (zh) * 2011-12-16 2014-12-24 3M创新有限公司 具有位置唯一的光致发光标记的光学数字化仪系统
CN103679108A (zh) * 2012-09-10 2014-03-26 霍尼韦尔国际公司 具有多个图像传感器的光学标记读取装置
CN104981833A (zh) * 2013-03-14 2015-10-14 英特尔公司 替代现实角色的异步显示
CN107646098A (zh) * 2015-07-07 2018-01-30 谷歌有限责任公司 用于在虚拟现实中跟踪手持式设备的系统
CN206961066U (zh) * 2017-02-28 2018-02-02 深圳市未来感知科技有限公司 一种虚拟现实交互设备

Also Published As

Publication number Publication date
KR20190106640A (ko) 2019-09-18
EP3537692A1 (en) 2019-09-11
US20190278098A1 (en) 2019-09-12
US10969600B2 (en) 2021-04-06
US20210191142A1 (en) 2021-06-24
KR102142190B1 (ko) 2020-08-06
EP4131903A1 (en) 2023-02-08
US11921300B2 (en) 2024-03-05
CN110244819A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110244819B (zh) 具有光学标记的电子设备
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
EP3438790B1 (en) Input device and image display system
EP2067093B1 (en) Determining the orientation of an object
CN208874676U (zh) 一种图像获取装置、身份识别装置及电子设备
CN108291838A (zh) 用于显示底板上的集成的光学传感器
US10365769B2 (en) Apparatus and method for contactless input
CN210199340U (zh) 电子设备和装置
TR201815821T4 (tr) Bir cihazın kontrolu için yöntem.
JP2017514232A (ja) 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能
Sato et al. Spectrans: Versatile material classification for interaction with textureless, specular and transparent surfaces
US20210405363A1 (en) Augmented reality experiences using social distancing
CN115917465A (zh) 使用卷帘快门相机的视觉惯性追踪
CN114859367A (zh) 具有光学路径延伸器的光学干涉测量接近传感器
CN115836269A (zh) 增强现实环境增强
US11625106B2 (en) Films or surfaces including positional tracking marks
CN109313866A (zh) 具有在下面的编码图案的近红外透明显示边框
TW202115363A (zh) 從具有機發光二極體顯示螢幕的設備投射結構光圖案
EP3292430B1 (en) Optical effect coating
CN202058091U (zh) 一种可携式通讯装置
CN115599228A (zh) 具有用于表面采样的光学传感器的电子设备
CN111753273A (zh) 可穿戴设备
TW200532532A (en) Structure of coordinate detection and interference prevention for an optical input device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant