CN112817437A - 用于可变用途的经着色视觉标记 - Google Patents

用于可变用途的经着色视觉标记 Download PDF

Info

Publication number
CN112817437A
CN112817437A CN202011238507.2A CN202011238507A CN112817437A CN 112817437 A CN112817437 A CN 112817437A CN 202011238507 A CN202011238507 A CN 202011238507A CN 112817437 A CN112817437 A CN 112817437A
Authority
CN
China
Prior art keywords
colors
implementations
color
visual indicia
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011238507.2A
Other languages
English (en)
Other versions
CN112817437B (zh
Inventor
A·S·兰加普拉萨德
A·格伦德赫费尔
D·戈维尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/087,723 external-priority patent/US11842236B2/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112817437A publication Critical patent/CN112817437A/zh
Application granted granted Critical
Publication of CN112817437B publication Critical patent/CN112817437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文所公开的各种具体实施包括为包括编码数据的经着色标志的视觉标记选择颜色的设备、系统和方法。在一些具体实施中,自动或半自动地选择颜色。在一些具体实施中,颜色被选择成尽管照明条件或打印/显示条件发生变化也保持充分可检测。在一些具体实施中,获取可供选择用于在视觉标记中使用的一组颜色。然后,确定该组颜色中多种颜色之间的距离的量度,并且选择用于视觉标记的该组颜色的子组,所述选择是基于该颜色子组中颜色之间的距离的量度。在一些具体实施中,视觉标记外观包括利用该颜色子组编码数据的图形元素。在一些具体实施中,使用显示器上的GUI接收输入以基于源图像确定多种颜色。

Description

用于可变用途的经着色视觉标记
技术领域
本公开整体涉及电子设备,并且具体地涉及为视觉标记选择颜色的系统、方法和设备。
背景技术
如今,视觉标记以条形码、快速响应(QR)码和其他专有的基于码的系统的形式存在。QR码对二进制数据诸如字符串或其他有效载荷进行编码以发起支付、链接到网站、链接到基于位置的体验或基于上下文的体验,或者启动到其他基于web的体验中。
发明内容
本文所公开的各种具体实施包括确定利用经着色标志来编码数据的视觉标记的多种颜色(例如,2-8)的设备、系统和方法。在一些具体实施中,视觉标记颜色被选择为尽管照明条件或打印/显示条件存在广泛变型也保持可检测。在一些具体实施中,获取初始一组颜色。例如,这初始一组颜色可基于输入图像,诸如视觉标记将被部署所在的物理环境的图像。另选地,这初始一组颜色可基于视觉标记将安装在其上的对象(例如,海报)的颜色。在另一示例中,这初始一组颜色由视觉标记设计者随机生成或提供。在给定初始颜色组的情况下,在一些具体实施中,自动确定(或引导用户选择)视觉标记的所述多种颜色(例如,2-8),这是基于这多种颜色在色彩空间中的间隔来确定。所确定的多种颜色对于照明条件或打印/显示条件的变化可以是最不变的或充分不变的(例如,在3D色彩空间中充分间隔开最小预设距离或空间间隔阈值,使得所述颜色可在不同条件下彼此区分)。在一些具体实施中,多种颜色选择还可考虑在确定所述多种颜色时的图像传感器(例如,相机)特性或校准。
在一些具体实施中,在具有处理器的电子设备处,确定可供选择用于在视觉标记中使用的一组颜色。然后,确定该组颜色中多种颜色之间的距离的量度,并且选择用于视觉标记的该组颜色的子组,所述选择是基于该颜色子组中颜色之间的距离的量度。在一些具体实施中,基于该颜色子组生成视觉标记的外观。在一些具体实施中,视觉标记外观包括利用该颜色子组编码数据的图形元素。
本文所公开的各种具体实施包括基于利用颜色来编码数据的视觉标记的源图像来确定多种颜色的设备、系统和方法。在一些具体实施中,用户选择一种类型的视觉标记模板、以及背景或源图像上的位置和尺寸。在一些具体实施中,用户预览经着色的视觉标记。在一些具体实施中,生成经着色的视觉标记,所述经着色的视觉标记包括利用所确定的颜色来编码数据的经着色的标志(例如,图形元素的尺寸、形状、颜色或取向)。在一些具体实施中,利用显示器上的GUI来接收来自设计者的输入。在一些具体实施中,颜色被半自动地或自动地选择为尽管存在照明条件或打印/显示条件的变化也保持为充分地可检测。在一些具体实施中,以可选的分辨率生成、存储、打印或显示经着色的视觉标记。
在一些具体实施中,在具有处理器的电子设备处,接收选择源图像的输入。在一些具体实施中,确定基于源图像的颜色。在一些具体实施中,生成视觉标记和使用所确定的颜色的编码数据。在一些具体实施中,显示包括源图像和经着色的视觉标记的预览。
根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施,一种设备包括:一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作环境的框图。
图2是根据一些具体实施的示例性控制器的框图。
图3是根据一些具体实施的示例性电子设备的框图。
图4是示出根据一些具体实施的对于照明条件、打印/显示条件或图像传感器校准的变型确定视觉标记的多种颜色的示例性方法的流程图。
图5是示出根据一些具体实施的对于视觉标记的多种颜色的各种照明条件效果的图示。
图6是示出根据一些具体实施的对于视觉标记的多种颜色的各种打印条件效果的图示。
图7是示出根据一些具体实施的对于视觉标记的多种颜色的各种图像传感器校准效果的图示。
图8是示出根据一些具体实施的由对3D色彩空间中的点进行分组而产生的示例性群集的示意图,这些点是由针对照明条件、打印或显示条件、或图像传感器校准调节初始颜色组而得到的。
图9是示出根据一些具体实施的源自初始颜色组的针对视觉标记的多种颜色的示例性选择的图示。
图10是示出根据一些具体实施的示例性经着色视觉标记的示意图。
图11是示出根据一些具体实施的确定利用颜色来编码数据的视觉标记的一组颜色的示例性方法的流程图。
图12是示出根据一些具体实施的基于利用颜色来编码数据的视觉标记的源图像来确定多种颜色的示例性方法的流程图。
图13是示出根据一些具体实施的用于设计利用颜色来编码数据的视觉标记的示例性用户界面的图示。
图14是示出根据一些具体实施的示例性经着色视觉标记的示意图。
图15是示出根据一些具体实施的用于设计利用颜色来编码数据的视觉标记的包括颜色选择的示例性用户界面的图示。
根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将会知道,其他有效方面或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免模糊本文所述的示例性具体实施的更多相关方面。尽管图1至图3描绘了涉及手持式电子设备的示例性具体实施,但其他具体实施可涉及其他类型的设备,包括但不限于手表和其他可穿戴电子设备、移动设备、膝上型计算机、台式计算机、游戏设备、头戴式设备(HMD)、家庭自动化设备以及包括或使用图像捕获设备的其他设备。
图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,操作环境100包括控制器110和电子设备120,该控制器和该电子设备中的一者或两者可处于物理环境中。物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
在一些具体实施中,控制器110被配置为创建、检测、或使用视觉标记或者管理和协调用户的计算机生成现实(CGR)环境。在一些具体实施中,控制器110包括软件、固件或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中,控制器110是相对于物理环境105处于本地或远程位置的计算设备。
在一个示例中,控制器110是位于物理环境105内的本地服务器。在另一个示例中,控制器110是位于物理环境105之外的远程服务器(例如,云服务器、中央服务器等)。在一些具体实施中,控制器110经由一个或多个有线或无线通信信道144(例如,蓝牙、IEEE802.11x、IEEE802.16x、IEEE 802.3x等)与电子设备120通信地耦接。
在一些具体实施中,控制器110和电子设备120被配置为创建、检测或使用视觉标记或者一起向用户呈现CGR环境。
在一些具体实施中,电子设备120被配置为创建、检测或使用视觉标记或者向用户呈现CGR环境。在一些具体实施中,电子设备120包括软件、固件或硬件的合适组合。下文参考图3更详细地描述电子设备120。在一些具体实施中,控制器110的功能由电子设备120提供或与电子设备120组合,例如,在用作独立单元的电子设备的情况下。
根据一些具体实施,当用户出现在物理环境105内时,电子设备120向用户呈现CGR环境。CGR环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中,跟踪人的物理运动的一个子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如,CGR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如,声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,该音频对象创建3D或空间音频环境,该3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中,人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或与之交互的虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。
在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置成接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。
图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如,通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM),码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE或相似类型接口)、一个或多个编程(例如,I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中,所述一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像捕获设备或其他传感器、一个或多个显示器等中的至少一者。
存储器220包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中,存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统230和视觉标记模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中,视觉标记模块240被配置为标识、共享或管理视觉标记信息。在一些具体实施中,视觉标记模块240包括初始颜色单元242、颜色变型单元244、颜色选择单元246和编码/解码单元248。初始颜色单元242被配置成标识或接收可供选择用于在经着色视觉标记中使用的初始颜色组。颜色变型单元244被配置为基于照明条件、打印条件或图像传感器条件来应对该组可选颜色的变型。颜色选择单元246被配置为选择该组可选颜色的子组以用于视觉标记,所述选择是基于该子组颜色之间的颜色距离的量度。编码/解码单元248被配置为编码/解码视觉标记的经着色标志编码数据。
视觉标记模块240可用于创建例如被CGR应用使用的视觉标记,CGR应用被配置为呈现将被用作一个或多个用户的CGR环境的一部分的虚拟内容(例如3D内容)。例如,用户可查看以及以其他方式体验基于CGR的用户界面,该用户界面允许用户至少部分地基于视觉标记的检测和使用(例如经由手势、语音命令、输入设备输入等)来选择、放置、移动以及以其他方式体验CGR环境。
尽管这些模块和单元被示出为驻留在单个设备(例如,控制器110)上,但应当理解,在其他具体实施中,这些模块和单元的任何组合可位于单独的计算设备中。此外,图2更多地用作存在于特定具体实施中的各种特征部的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图2中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,电子设备120包括一个或多个处理单元302(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如,USB、FIREWIRE、THUNDERBOLT、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如,I/O)接口310、一个或多个显示器312、一个或多个面向内部或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些具体实施中,一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如,结构光、飞行时间等)等。
在一些具体实施中,一个或多个显示器312被配置为向用户呈现CGR环境。在一些具体实施中,一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)或者类似显示器类型。在一些具体实施中,一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如,电子设备120包括单个显示器。又如,电子设备120包括针对用户的每只眼睛的显示器。
在一些具体实施中,一个或多个面向内部或面向外部的传感器系统314包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如,麦克风)。在一些具体实施中,所述一个或多个图像传感器系统314被配置为获取与包括用户的眼睛的用户的面部的至少一部分对应的图像数据。例如,该一个或多个图像传感器系统314包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中,该一个或多个图像传感器系统314还包括(例如对受摄对象或用户的面部的一部分)发射光的照明源,诸如闪光灯或闪光源。
存储器320包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中,存储器320包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中,存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统330和视觉标记模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中,视觉标记模块340被配置为标识、共享或管理视觉标记信息。在一些具体实施中,视觉标记模块340包括初始颜色单元342、颜色变型单元344、颜色选择单元346和编码/解码单元348。初始颜色单元342被配置成标识或接收可供选择用于在经着色视觉标记中使用的初始颜色组。颜色变型单元344被配置为基于照明条件、打印条件或图像传感器条件来应对该组可选颜色的变型。颜色选择单元346被配置为选择该组可选颜色的子组以用于视觉标记,所述选择是基于该子组颜色之间的颜色距离的量度。编码/解码单元348被配置为编码/解码视觉标记的经着色标志编码数据。
视觉标记模块340可用于创建例如被CGR应用使用的视觉标记,CGR应用被配置为呈现将被用作一个或多个用户的CGR环境的一部分的虚拟内容(例如3D内容)。例如,用户可查看以及以其他方式体验基于CGR的用户界面,该用户界面允许用户至少部分地基于视觉标记的检测和使用(例如经由手势、语音命令、输入设备输入等)来选择、放置、移动以及以其他方式体验CGR环境。
此外,图3更多地用作存在于特定具体实施中的各种特征部的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图3中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
本文所公开的各种具体实施包括确定利用经着色标志来编码数据的视觉标记的多种颜色(例如,2-8)的设备、系统和方法。在一些具体实施中,所确定的视觉标记的多种颜色尽管照明条件或打印/显示条件存在广泛变型(例如,在部署视觉标记的地方)仍然保持为对电子设备是可检测的。
在各种具体实施中,视觉标记是编码二进制数据诸如字符串(例如,QR码)或用于访问基于远程的体验(例如,基于远程的体验)的其他有效载荷的2D对象。在一些具体实施中,到基于远程的体验的链接包括发起支付的链接(例如,经认可的支付端点)、到网站的链接(例如,URL)或启动到基于web的体验中的链接。在一些具体实施中,视觉标记用于仅启动或仅链接到视觉标记的创建者授权的经认可的基于远程的体验。在一些具体实施中,视觉标记的创建者包括设计视觉标记的实体、打印(例如,制作)视觉标记的实体(例如,开发者)以及管理/托管视觉标记的实体。
图4是示出根据一些具体实施的确定应对照明条件、打印/显示条件或图像传感器校准的变型的视觉标记的多种颜色的示例性方法400的流程图。在一些具体实施中,方法400由设备(例如,图1至图3的控制器100或电子设备120)执行。可使用电子设备或由彼此通信的多个设备来执行方法400。在一些具体实施中,方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方式中,方法400由执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器执行。
在框410处,方法400获取用于在视觉标记中使用的初始颜色组。在一些具体实施中,初始颜色组可以是任意数量的颜色(例如,30、80、150)。在一些具体实施中,初始颜色组中颜色的所述任意数量是基于计算预算。在一些具体实施中,初始颜色组可以基于初始输入图像。在一些具体实施中,初始颜色组可以是任何颜色组。在一些具体实施中,初始颜色组是随机生成的。在一些具体实施中,初始颜色组由视觉标记设计者选择。在一些具体实施中,基于物理环境中的位置处的颜色来选择初始颜色组。在一些具体实施中,基于输入图像来选择初始颜色组。在一些具体实施中,初始颜色组可以通过以下方式而基于初始输入图像:提取初始输入图像中的颜色并且从所提取的颜色分组或选择以减少初始输入图像中的颜色数量,直到达到初始颜色组的所述任意数量。例如,这可涉及标识图像中的最高N种颜色,例如,具有最多像素数量的10种颜色。在一个具体实施中,表示来自初始输入图像的颜色的3D色彩空间可以被离散化成所述任意数量。
在框415处,一旦确定初始颜色组,方法400就确定照明条件对视觉标记中的初始颜色组的影响。在一些具体实施中,初始颜色组被称为调色板0。在一些具体实施中,调色板0在各种照明条件下的多个实例被生成作为调色板I,其中I等于1、2、...、N;其中N为大于2的正整数。在一些具体实施中,利用色适应算法合成地确定这多个调色板I。在一些具体实施中,使用在各种真实世界照明条件下获得的调色板0的实际图像来确定这多个调色板I。
图5是示出根据一些具体实施的对于视觉标记的各种照明条件效果的图示。如图5所示,使用4种所选颜色来编码数据的视觉标记500的外观受到照明条件(例如,视觉标记500将被部署的地方)影响。如图5所示,通过计算机建模生成各种光源的效果500a、500b、...、500g。在一些具体实施中,所有可能的照明条件是已知的,因为世界上存在的可能照明源是已知的(例如,太阳及其光谱、灯泡、LED光源、白炽灯、荧光灯等)。在一些具体实施中,所部署视觉标记的单个照明条件是已知的,因为例如,视觉标记设计者知道将在具有单个固定内部照明条件的博物馆中部署视觉标记。
在框420处,一旦确定了初始颜色组,方法400就确定打印初始颜色组的效果。图6是示出根据一些具体实施的对于视觉标记的示例性打印条件效果的图示。如图6所示,示例性RGB色彩空间610(例如被图示为立方体)被转换到示例性打印色彩空间620。如图6所示,打印条件对示例性RGB色彩空间610具有影响。如图6所示,打印条件在生成修改后的所打印色彩空间620中将RGB色彩空间610的各种颜色挤压不同的量。
例如,在一些具体实施中,打印机组合四种颜色的油墨(例如,CMYK)以生成输入的被打印输出。在另一示例中,在一些具体实施中,打印机组合3种颜色的油墨(例如,RGB)以生成输入的被打印输出。
在一些具体实施中,打印机的类型是已知的,打印机的型号是已知的,甚至打印物料的量(例如,CYMK油墨水平)是已知的(例如,被用户或视觉标记开发者已知)。在一些具体实施中,随着关于打印条件的更多信息是已知的,修改后的打印机色彩空间620变得更大或更准确。
在框425处,一旦确定了初始颜色组,方法400就确定图像传感器或相机对视觉标记的初始颜色组的影响。在框425处的一些具体实施中,该方法针对图像传感器校准或相机校准调节初始颜色组。在各种具体实施中,图像传感器或相机可能不会将真实世界的物理环境中的2种不同颜色检测成那些相同的确切2种颜色。在一些具体实施中,图像传感器或相机校准负责从真实世界颜色到由特定相机型号、特定相机制造商或特定类型的相机感测(例如,看到)的颜色的转换。
图7是示出根据一些具体实施的对于视觉标记的示例性相机校准效果的图示。如图7所示,基于相机校准将示例性RGB色彩空间710(例如被图示为立方体)转换为示例性修改后的传感器校准色彩空间720。如图7所示,示例性相机校准对示例性RGB色彩空间710具有影响。如图7所示,在生成修改后的传感器校准色彩空间720时,相机校准将RGB色彩空间670的各种颜色修改不同的量。
在一些具体实施中,图像传感器的类型是已知的,图像传感器的型号是已知的,甚至一系列图像传感器的一个或多个可能的校准是已知的(例如,被视觉标记开发者已知)。在一些具体实施中,随着关于图像传感器校准的更多信息已知或被提供(例如,更准确的校准),修改后的传感器校准色彩空间720变得更大或更准确。
在框425处的一些具体实施中,方法400使用来自框420的关于将用于打印该视觉标记的打印机的信息来将调色板0和调色板I从第一3D色彩空间(例如RGB 3D色彩空间)映射到第二3D色彩空间(例如CMYK 3D色彩空间)。在框425处的一些具体实施中,方法400使用来自框420的关于将用于打印该视觉标记的打印机条件或打印设备的信息来将调色板0和调色板I的至少子组从第一3D色彩空间(例如RGB 3D色彩空间)映射到第二3D色彩空间(例如CMYK 3D色彩空间)以应对照明和打印条件对初始颜色组的影响。
在框425处的一些具体实施中,方法400使用来自框425的关于将用于检测视觉标记的图像传感器或相机校准的信息来将颜色从第二3D色彩空间中被照明和打印条件修改的初始颜色组映射到第三3D色彩空间(例如,图像传感器的RGB 3D色彩空间)以应对图像传感器校准对初始颜色组的影响。
在框430处,方法400将第三3D色彩空间(例如图像传感器RGB 3D色彩空间)中的调节后的初始颜色组分组成“K”个色彩群集,其中K是正整数(例如30、50、100等)。在一些具体实施中,框430中的分组使用已知的聚类技术。在一些具体实施中,框430中的分组使用已知的最近相邻技术或其他已知技术来在框430中对第三3D色彩空间中调节后的初始颜色组进行分组。
图8是示出根据一些具体实施的由对第三3D色彩空间中的点进行分组而产生的示例性群集的示意图,这些点是源自针对照明条件、打印条件、或图像传感器校准调节初始颜色组。如图8所示,输入图像810用于获取包括24种颜色以表示输入图像810的初始颜色组820。如图8所示,初始颜色组820在相机RGB 3D色彩空间830中产生调节后的初始颜色组840。如图8所示,调整后的颜色840源自于针对打印条件、照明条件或相机校准修改的初始颜色组820。如图8所示,示例性群集840a、840b包括由初始颜色组820中的一者或多者产生的调节后颜色840的子组。在一些具体实施中,调节后颜色840的“K个”群集各自包括多个初始颜色组820。在一些具体实施中,调节后颜色840的“K个”群集的数量大于初始颜色组820的数量。
在框435-450中,方法400选择要在视觉标记上使用的多种颜色(例如,2-8)(例如,从在框410中获得的初始颜色组中选择)。在一些具体实施中,从初始颜色组中自动地、半自动地或手动地选择所述多种颜色。在一些具体实施中,一旦选择了所述多种颜色中的第一颜色(例如,自动地、半自动地或手动地),就从初始颜色组中自动地选择所述多种颜色中的剩余颜色。在一些具体实施中,从初始颜色组中半自动地或手动地选择所述多种颜色中的剩余颜色。在一些具体实施中,用于视觉标记的所述多种颜色被选择为尽管照明条件、打印/显示条件或检测设备(例如,图像传感器)存在广泛变型也保持为可检测和可彼此区分的。
在框435处,方法400从在框410中获得的初始颜色组中选择视觉标记的所述多种颜色中的第一颜色。在一些具体实施中,从在框410中获得的初始颜色组中随机选择第一多颜色。在一些具体实施中,基于用于获取初始颜色组的初始输入图像(例如,初始输入图像的主要颜色),从在框410中获得的初始颜色组中选择第一多颜色。在一些具体实施中,由用户从在框410中获得的初始颜色组中选择第一多颜色。
在框435处的一些具体实施中,初始颜色组以有序序列被呈现或显示给用户。在一些具体实施中,初始颜色组根据色谱诸如可见光谱(例如,红到蓝)来排序。在一些具体实施中,基于K个群集中的哪一个具有最大数量的点来对初始颜色组进行排序,使得包含在K个群集中最大者中的初始颜色组的子组在有序序列中位于第一位。在一些具体实施中,初始颜色组是随机排序的。
在框440处,方法400确定是否已选择了所述多种颜色中的最后一者(例如,选择在视觉标记中使用的4种多颜色的第四颜色)。当框440中的确定为否定时,方法400继续到框445。
在框445处,方法400从初始颜色组中移除或消除3D色彩空间中接近所述多种颜色中最新近选择的颜色的颜色。在一些具体实施中,包含所述多种颜色中最新近选择的颜色的群集的最近相邻群集连同其中包含的初始颜色组中的任意者一起被消除,这使得初始颜色组中的附近颜色从一些未来选择中移除或消除(在框450中)。在一些具体实施中,在框445处,消除在第三3D色彩空间中与包含所述多种颜色中最新近选择的颜色的群集相距在阈值空间距离内的群集。
在框450处,方法400从初始颜色组中的剩余颜色中选择所述多种颜色中的下一颜色。在框450处,可从初始颜色组中的剩余颜色中选择所述多种颜色中的下一颜色,如上文在框435中所述。该方法从框450返回到框440。
图9是示出根据一些具体实施的从初始颜色组中对在视觉标记中的编码经着色标志中使用的多种颜色的示例性选择的示意图。如图9所示,从初始组46种颜色920中选择四种颜色A、B、C、D作为视觉标记的多种颜色950。
如图9所示,可基于在相机RGB 3D色彩空间930中包含经调节的初始颜色组940的群集940a、940b、...、940n的尺寸和空间排列,自动选择A、B、C、D作为视觉标记的所述多种颜色950。在一些具体实施中,在从初始颜色组920中选择第一颜色之后,基于由RGB 3D色彩空间930中的群集表示的所述多种颜色950(例如,A、B、C、D)的颜色之间的总空间距离来自动选择所述多种颜色950中的其余颜色。
另选地,如图9所示,初始组46种颜色920可以有序序列呈现给用户。在该具体实施中,用户从经排序的初始颜色组920中选择所述多个颜色950中的第一颜色(A)。然后在一些具体实施中,从初始颜色组920中移除基于3D色彩空间在空间上接近颜色A的颜色,这得到初始颜色组的剩余色彩920a。在一个具体实施中,消除在相机RGB 3D色彩空间930中经调节的初始颜色组940中的靠近包含第一颜色A的群集的群集。
然后,在该具体实施中,初始颜色组920的26个剩余颜色920a以有序序列呈现给用户。在一些具体实施中,呈现初始颜色组920的剩余颜色920a,使得在有序序列中从最先到最后依次列出剩余颜色的最佳到最差选择。如图9所示,用户从经排序的剩余颜色920a中选择所述多种颜色950中的第二颜色(B)。然后在一些具体实施中,从初始颜色组920的剩余颜色920a中移除基于3D色彩空间在空间上接近颜色B的颜色,这得到初始颜色组的剩余颜色920b。
然后,在该具体实施中,初始颜色组920的19个剩余颜色920b以有序序列呈现给用户。在一些具体实施中,呈现初始颜色组920的剩余颜色920b,使得在有序序列中从最先到最后依次列出剩余颜色的最佳到最差选择。如图9所示,用户从经排序的剩余颜色920b中选择所述多种颜色950中的第三颜色(C)。然后在一些具体实施中,从初始颜色组920的剩余颜色920b中移除基于3D色彩空间在空间上接近颜色C的颜色,这得到初始颜色组的剩余颜色920c。
然后,在该具体实施中,初始颜色组920的5个剩余颜色920c以有序序列呈现给用户。在一些具体实施中,呈现初始颜色组920的剩余颜色920c,使得在有序序列中从最先到最后依次列出剩余颜色的最佳到最差选择。如图9所示,用户从经排序的剩余颜色920c中选择所述多种颜色950中的第四颜色(D),并且所述多种颜色950的选择完成。如图9所示,为所述多种颜色950选择经排序的初始颜色组920、920a、920b、920c的最高颜色,然而,包含在经排序初始颜色组920、920a、920b、920c中每一者中的任何颜色在那时都是可选择的。
返回到方法400,当框440中的确定为肯定时,方法400继续到框455。在框455处,方法400将所述多种颜色中的每一者放置在视觉标记处的固定位置处。
图10是示出根据一些具体实施的示例性经着色视觉标记的示意图。如图10所示,视觉标记1000包括用于检测和取向的第一部分1010、用于标识在视觉标记1000中使用的颜色(其为方法400中的多种颜色(例如,950))的第二部分1014A-D、以及用于利用颜色在视觉标记1000中编码数据的第三部分1020。
如图10所示,第一部分1010包括用于检测和取向的预设形状。在一些具体实施中,第一部分1010是具有预定义形状的内部区域,该预定义形状对于多个不同视觉标记(例如,使用不同颜色编码不同数据的视觉标记)是一致的。如图10所示,第一部分1010为具有特定总体预定义形状的内环。
在一些具体实施中,第二部分1014A-D包括第一部分1010中的已知位置或定位或者视觉标记1000的特定总体形状,其各自被以在视觉标记1000中使用的多种颜色之一(例如,950)着色。如图10所示,第二部分1014包括第一部分1010中的4个位置1014A、1014B、1014C和1014D,所述位置各自分别被以在视觉标记1000中使用的A、B、C或D颜色之一着色。在其他具体实施中,第二部分1014可包括对应于为视觉标记选择的颜色中每一者的不同数量的位置。如图10所示,第二部分1014包括构成第一部分1010的元素。在其他具体实施中,第一部分和第二部分是不同的且间隔开的。
在一些具体实施中,第三部分1020使用颜色来编码视觉标记1000的数据。如图10所示,第三部分1020使用形状和颜色来编码视觉标记1000的数据。在一些具体实施中,第三部分1020是经着色形状的外部区域。在图10中,第三部分1020包括从起始位置顺时针或逆时针顺序排序的经着色形状1025-A1、1025-A2、...。如图10所示,第三部分1020包括经着色形状1025,经着色形状1025包括5个尺寸、2个形状、4个颜色和2个取向的组合(例如,径向向内渐缩或径向向外渐缩)。
在一些具体实施中,视觉标记1000的附加部分可使用单个颜色(例如,白色或灰色)来着色。在一些具体实施中,视觉标记1000的附加部分可使用不在第一部分1010或第三部分1020中使用的单个颜色来着色。在一些具体实施中,视觉标记1000的附加部分为以下中的至少一者:视觉标记1000的中心区域、视觉标记1000的介于第一部分1010和第三部分1020之间的区域、或第三部分1020之外的区域(例如,环)。在一些具体实施中,视觉标记1000的附加部分是以下中的至少一者:视觉标记1000的与第一部分1010的至少一部分相邻或与第三部分1020的至少一部分相邻的区域。在一些具体实施中,视觉标记1000的附加部分用于在由图像传感器检测时执行视觉标记1000中的颜色的局部白平衡。在一些具体实施中,视觉标记1000的附加部分用于检测所检测视觉标记处的空间变化的照明或校正任何所检测到的空间变化的照明。例如,当在作为视觉标记1000的中心区域和第三部分1020之外的区域两者(例如,跨视觉标记1000的一部分)的附加区域中检测到阴影时,附加区域中的所检测到的阴影可用于校正由阴影引起的视觉标记1000(例如,第一部分1010、第三部分1020)的颜色变化。在一些具体实施中,所检测视觉标记处的空间变化的照明由光源、不均匀的照明、物理环境中的对象等引起。
在各种具体实施中,视觉标记1000是对二进制数据诸如字符串(例如,QR码)或用于访问基于远程的体验的其他有效载荷进行编码的2D或3D对象。在一些具体实施中,到基于远程的体验的链接包括发起支付的链接(例如,经认可的支付端点)、到网站的链接(例如,URL)或启动到基于web的体验中的链接。
在一些具体实施中,使用电子设备上的传感器(例如,相机)获取在物理环境的图像中检测到视觉标记1000的图像。在一些具体实施中,传感器是传感器诸如RGB相机、立体相机、深度传感器(例如,飞行时间、结构化光)、RGB-D相机、一个或多个2D相机、IR相机等的组合。
在一些具体实施中,电子设备可确定电子设备与在包括视觉标记1000的物理环境的所述一个或多个图像中检测到的视觉标记1000之间的相对定位。在一些具体实施中,相对定位确定视觉标记1000相对于电子设备的相对取向。在一些具体实施中,使用计算机视觉技术(例如,VIO或SLAM)或PNP技术来确定相对定位。
在如图9至图10所示的一些具体实施中,在框455处,方法400将所述多种颜色950的颜色A、B、C、D放置在视觉标记1000的第二部分1014的4个位置1014A、1014B、1014C和1014D处。
在一些具体实施中,一旦选择了所述多种颜色,视觉标记的另选的颜色选择组(例如,替代的多种颜色)就可被呈现给设计者,尽管照明条件或打印/显示条件的广泛变型,但电子设备也将能够检测到所述颜色选择。在一些具体实施中,包含所述多种颜色之一的每个群集中的替代颜色可用作所述多种颜色的另选颜色(例如,A'、B'、C'、D')以编码与初始多种颜色相同的数据,这允许设计者自由地在数量增多的颜色中进行选择,而不损害所部署视觉标记的照明或打印不变解码。在一些具体实施中,视觉标记的另选的颜色选择组(例如,替代的多种颜色)是分别被包括在包含为视觉标记选择的所述多种颜色的K个群集中的每一者中的来自初始颜色组的颜色的组合。例如,当编号为1-100的100种颜色在初始颜色组中时,颜色10(在群集W中)、颜色30(在群集X中)、颜色60(在群集Y中)、颜色90(在群集Z中)为所述多种颜色。在该示例中,群集W也包含颜色12和14,群集X也包含颜色22、29和32,群集Y包含颜色62、64,并且群集Z也包含颜色2。在该示例中,视觉标记的另选的颜色选择组(例如,替代的多种颜色)为4种颜色的组合,其中从群集W、群集X、群集Y和群集Z中的每一者选择1种颜色。
在一些具体实施中,在获取初始颜色组(例如,框410)时,视觉标记的设计者可添加初始未在初始颜色组中(例如,在调色板0中)提供的至少一种颜色。然后,在选择所述多种颜色(例如,方法400的剩余部分)时,也将考虑或优化添加到初始颜色组的任何颜色。在一些具体实施中,当由初始颜色组得到的所述多种颜色在3D色彩空间中不具有充分的空间间隔时,视觉标记的设计者可添加最初未在初始颜色组中提供的颜色。在一些具体实施中,视觉标记的设计者可使用色彩调和技术或色彩调和科学来添加最初在初始颜色组中未提供的至少一种颜色。在一些具体实施中,视觉标记的设计者可使用色彩调和技术或科学来自动地、半自动地或手动地添加最初在初始颜色组中未提供的至少一种颜色。色彩调和提供用于生成或选择与现有调色板自然地调和的新颜色的配方。例如,金黄色与品蓝色调和。在一些具体实施中,色彩调和可用于从初始颜色组之外自动地、半自动地或手动地选择所述多种颜色或另选的颜色选择组。
在一些具体实施中,在(例如,自动地或手动地)从初始颜色组选择所述多种颜色(例如,框435-450)之前,视觉标记的设计者可从初始颜色组中去除白色和黑色的色度。在一些具体实施中,从选择中去除白色和黑色的色度将获得所述多种颜色的更大多样性,因为白色和黑色通常是基于其在3D色彩空间中的相应位置来选择。
在一些具体实施中,视觉标记将被部署于的实际照明条件是已知的。在此类具体实施中,在选择用于在经着色视觉标记中使用的所述多种颜色时提供额外的灵活性或准确性。例如,考虑将在以蓝色LED灯照明的海报上显示视觉标记。在该示例中,如果使用红色、绿色和蓝色来编码视觉标记上的数据,则该数据将被电子设备视为黑色、黑色和蓝色,并且视觉标记将不可读。在该例子中,当已知的实际照明条件为蓝色LED时,所述多种颜色应为蓝色色度或换句话讲在被蓝色LED照明时可检测到的。
在一些具体实施中,拍摄视觉标记要被部署于的输入图像(例如,用于获取初始颜色组)的电子设备包括环境光传感器。在一些具体实施中,来自环境光传感器的数据被包括在关于用于确定经着色视觉标记的多种颜色的照明条件的信息中。
本文所公开的各种具体实施包括本文所述的确定利用经着色标志来编码数据的视觉标记的多种颜色的设备、系统和方法的图形用户界面(GUI)。在一些具体实施中,GUI为用户提供通过手动选择、随机生成、基于所接收的颜色输入、基于彩色输入图像等来获取初始颜色组的能力。在一些具体实施中,GUI为用户提供向初始颜色组添加颜色或从初始颜色组移除颜色的能力。在一些具体实施中,GUI为用户提供接受默认照明条件或者在一组照明条件中进行标识、选择或修改的能力。在一些具体实施中,GUI为用户提供接受默认打印条件或者在一组打印条件中进行标识、选择或修改的能力。在一些具体实施中,GUI为用户提供接受默认图像传感器校准或者在一组图像传感器校准中进行标识、选择或修改的能力。在一些具体实施中,GUI为用户提供在生成用于在经着色视觉标记中使用的所述多种颜色时在照明条件、打印条件或图像传感器校准之间划分优先顺序(例如加权)的能力。在一些具体实施中,GUI为用户提供在生成用于在经着色视觉标记中使用的所述多种颜色时在照明条件、打印条件或图像传感器校准之间选择一者或多者的能力。在一些具体实施中,GUI为用户提供手动地、半自动地(例如,推荐的颜色)或自动地选择初始颜色组中的所述多种颜色的能力。在一些具体实施中,GUI为用户提供查看所述多种颜色相对于标准标度或相对于所部署环境(例如,数字或物理)的可检测性强度或量度的能力,包括为了达到可检测性量度的阈值而添加附加颜色的推荐(例如,或要添加的推荐颜色)。在一些具体实施中,GUI为用户提供被呈现以多种颜色的潜在替代组、生成多种颜色的潜在替代组或对多种颜色的潜在替代组进行修改的能力。在一些具体实施中,GUI为用户提供使用所述多种颜色和参数化的经着色形状将数据编码到视觉标记中的能力。
图11是示出根据一些具体实施的确定利用颜色来编码数据的视觉标记的一组颜色的示例性方法1100的流程图。在一些具体实施中,视觉标记的这一组颜色应对照明条件或打印/显示条件的变型。在一些具体实施中,由设备(例如,图1至图3的控制器100或电子设备120)执行方法1100。可使用电子设备或由彼此通信的多个设备来执行方法1100。在一些具体实施中,方法1100由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中,方法1100由执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器执行。
在一些具体实施中,方法1100例如基于所部署视觉标记位置的输入图像获取初始颜色组(例如,100),并且基于色彩空间中所述多种颜色的相对位置来自动确定(或引导用户选择)用于视觉标记的颜色组(例如,4)。在一些具体实施中,基于在3D色彩空间中超过空间距离间隔阈值,所确定的一组颜色对于照明条件或打印/显示条件的变化可为最不变或充分不变的。
在框1110处,方法1100确定可供选择用于在视觉标记中使用的一组颜色。在一些具体实施中,该组可选颜色是任意数量的颜色。在一些具体实施中,该组颜色总计30、40或80。在一些具体实施中,该组颜色的数量是基于计算预算或时间。在一些具体实施中,该组颜色是基于视觉标记要被部署于的物理位置。在一些具体实施中,该组颜色是基于输入彩色图像中的颜色。例如,输入图像可包括1百万种颜色,这1百万种颜色可减少到100种颜色作为仍然表示输入彩色图像的这一组颜色。在一些具体实施中,当输入彩色图像仅包括蓝色的色度时,则该组颜色可仅包括蓝色。
在框1120处,方法1100确定该组颜色中的多种颜色之间的距离的量度。在一些具体实施中,确定该组颜色的所有颜色之间的距离的量度。在一些具体实施中,距离的量度是基于在3D色彩空间诸如RGB 3D色彩空间、XYZ 3D色彩空间、CYMK 3D色彩空间等中这一组颜色中的所述多种颜色的空间位置。在一些具体实施中,距离的量度是基于该组颜色中的所述多种颜色沿着色谱的位置。例如,距离的量度可确定一种蓝色与第一绿色相差10个单位,并且该蓝色与第二绿色相差12个单位。
在框1130处,方法1100选择这组颜色的子组用于视觉标记,所述选择是基于该颜色子组的颜色之间的距离的量度。在一些具体实施中,该颜色子组被选择为使得在3D色彩空间中在该颜色子组之间存在增大的或最大的间隔。在一些具体实施中,该颜色子组被选择为使得在3D色彩空间中该颜色子组的对之间存在阈值间隔。在一些具体实施中,选择该颜色子组是因为该颜色子组独立于照明条件、打印/显示条件或检测视觉标记的设备(例如,图像传感器或彩色相机)能充分区分或被辨别。在一些具体实施中,选择该颜色子组是因为该颜色子组对于照明条件、打印/显示条件或检测设备(例如,图像传感器或彩色相机)的变化是最不变的或充分不变的。在一些具体实施中,黑色和白色从该颜色子组受到限制。在框1120的示例中,选择蓝色和第二绿色,因为第二绿色与第一绿色相比更不同于蓝色。
在框1140处,方法1100基于该颜色子组生成视觉标记的外观。在一些具体实施中,视觉标记外观包括将该颜色子组中的每一者放置在视觉标记上的预设固定位置处。在一些具体实施中,视觉标记外观包括利用该颜色子组编码数据的图形元素。在一些具体实施中,图形元素也使用形状或尺寸来编码视觉标记的数据。
例如,在一个经着色视觉标记10中,彩色标志使用2种颜色编码数据(例如,经着色标志具有相同的形状和尺寸)。视觉标记中的这一系列经着色标志为T1、P1、T、T2、P3、P2、P5、T3、P、P4,其中T表示棕褐色着色标志并且P表示粉红色着色标志。于是,编码在视觉标记中的数据可为0100111011。
在框1120处的一些具体实施中,基于关于视觉标记要被部署于的照明条件、将打印视觉标记的打印机的打印设备条件、将显示所部署视觉标记的设备的显示设备条件、或将检测所部署视觉标记的检测设备(例如,成像传感器)的信息来标识该组颜色的变型。在一些具体实施中,基于关于多个照明条件、多个打印设备条件、多个显示设备条件或多个检测设备条件的信息来标识该组颜色的变型。在一些具体实施中,距离的量度考虑了所标识的该组颜色基于照明条件、打印条件、显示条件或检测(例如,成像)条件的变型。
在一些具体实施中,使用具有处理器的移动电子设备上的传感器(例如,图像传感器、相机)获取在所部署位置处包括视觉标记的物理环境的图像。在一些具体实施中,图像是2D图像或3D图像。在一些具体实施中,使用图像传感器的组合。在一些具体实施中,可使用彩色图像。另选地,在一些具体实施中,可使用灰度图像。在一些具体实施中,使用物理环境的图像来生成表示物理环境的CGR环境。在一些具体实施中,CGR环境是使用移动电子设备处的VIO或SLAM位置跟踪等生成的。
图12是示出根据一些具体实施的基于利用颜色来编码数据的视觉标记的源图像(例如,图形元素的尺寸、形状、颜色、或取向)来确定多种颜色的示例性方法1200的流程图。在一些具体实施中,用户选择一种类型的视觉标记模板、以及背景或源图像上的位置和尺寸。在一些具体实施中,用户预览经着色的视觉标记。在一些具体实施中,用户预览与源图像重叠的经着色视觉标记。在一些具体实施中,方法1200由设备(例如,图1-图3的控制器100或电子设备120)执行。可使用电子设备或由彼此通信的多个设备来执行方法1200。在一些具体实施中,方法1200由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中,方法1200由执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器执行。
在框1210处,方法1200接收选择源图像的输入。在一些具体实施中,在显示器处接收用于选择源图像的输入。在一些具体实施中,在显示器处使用GUI接收用于选择源图像的输入。在一些具体实施中,源图像选自本地存储的图像。在一些具体实施中,从远程存储的图像导入源图像。
在框1220处,方法1200基于源图像确定多种颜色。在一些具体实施中,从源图像中自动选择所述多种颜色。在一些具体实施中,基于源图像半自动地选择所述多种颜色。在一些具体实施中,使用GUI来接收用于基于源图像选择所述多种颜色中的第一颜色的输入。在一些具体实施中,使用GUI接收用于基于源图像选择所有所述多种颜色的用户输入。在一些具体实施中,进入拾色器中的用户输入被用于选择所述多种颜色。在一些具体实施中,使用GUI接收用于基于源图像选择所述多种颜色中的第一颜色的用户输入,并且所述多种颜色中的剩余颜色被自动选择。在一些具体实施中,所述多种颜色是预设数量的(例如,2-8)。在一些具体实施中,可基于可检测性来确定所述多种颜色。在一些具体实施中,所述多种颜色的可检测性是基于3D色彩空间中的间隔、照明条件、打印条件、显示条件、图像捕获传感器或美学信息中的一者或多者。在一些具体实施中,用户输入选择所述多种颜色,其中一种或多种颜色可基于可检测性而被自动修改。
在框1230处,方法1200生成经着色视觉标记并且使用所确定的多种颜色来编码数据。在一些具体实施中,使用GUI来接收用于选择用于经着色视觉标记的视觉标记模板的类型(例如,三角形、矩形、六边形、2色、3色、4色等)的用户输入。在一些具体实施中,用户输入选择用于视觉标记的布局或样式设计选项。在一些具体实施中,视觉标记是使用经着色标志(例如,图形元素的尺寸、形状、颜色或取向)来编码数据的2D代码。在一些具体实施中,使用GUI接收用于选择要被编码在经着色视觉标记中的数据的用户输入。
在框1240处,方法1200显示包括源图像和经着色视觉标记的预览。在一些具体实施中,预览可相对于源图像重叠。在一些具体实施中,使用GUI来接收用于选择源图像或背景上的位置或尺寸的用户输入。在一些具体实施中,使用GUI接收用于存储、复制、预览或传输所生成的经着色视觉标记的用户输入。在一些具体实施中,预览包括可查看显示的一部分或全部。在一些具体实施中,源图像用作经着色视觉标记的背景的全部或一部分。
图13是示出根据一些具体实施的用于设计利用颜色来编码数据的视觉标记的示例性UI的图示。如图13所示,UI 1300包括允许从设计者接收用于设计或显示已设计的经着色视觉标记的输入的特征部。在一些具体实施中,UI 1300可供使用或被存储为使用电子设备的操作系统的系统服务。
在一些具体实施中,UI 1300包括组成区部1305,其允许从设计者接收用于输入新的经着色视觉标记或访问已设计和存储的经着色视觉标记的输入。如图13所示,所选择的组成1305a正被设计,并且组成1305b和1305c已经被创建和存储(例如,本地地)。在一些具体实施中,成分1305b和1305c被本地地存储在设计者的文档文件夹中。在一些具体实施中,设计或存储视觉标记的复合物,该复合物可包括视觉标记、输入图像、由设计者输入的附加参数(诸如用于在视觉标记中编码数据的所述多种颜色)以及输入图像和经着色视觉标记的复合物中的一者或多者。在一些具体实施中,组成区部1305包括用于在组成区部1305中启动新视觉标记的选择1310a(例如+),用于从组成区部1305中移除视觉标记的选择1310b(例如-)、以及用于在组成区部1305中复制所选视觉标记作为新视觉标记(例如,以所复制视觉标记的默认参数作为起始点)的选择1310c(例如,∞)。
如图13所示,所选组成1305a包括在查看器1370中显示的视觉标记1400和输入图像1315。图14是示出示例性视觉标记1400的示意图。
在一些具体实施中,参数部分1320允许从设计者接收用于在经着色视觉标记的各种参数中进行选择的输入。在一些具体实施中,在参数部分1320中作出的改变在查看器1370中示出(例如,实时更新)。
在一些具体实施中,设计部分1322允许从设计者接收用于在视觉标记类型中进行选择的输入。在一些具体实施中,视觉标记类型对应于所编码数据的预设量,诸如32字节、128字节、512字节等。在一些具体实施中,视觉标记类型对应于基于光条件的类型,诸如颜色、显示、荧光等的单色、低光、日光。在一些具体实施中,视觉标记类型对应于颜色的规定数量(例如,2-8,用于在经着色标志中编码数据)。在一些具体实施中,视觉标记类型的组合是可选择的。如图13所示,视觉标记类型“Hex-4”可从可供使用的视觉标记类型的下拉列表中选择。
如图13所示,视觉标记1400包括六边形形状、用于在经着色标志中编码数据的4种颜色(1435A、1435B、1435C、1435D)、以及单独的(例如,美观的)背景颜色(1435E)。
在一些具体实施中,选择图像区部1325允许从设计者接收用于选择要用于设计视觉标记或组成的图像的输入。在一些具体实施中,选择图像区部1325能选择的图像被本地地存储、存储在指定位置中或可远程访问。在一些具体实施中,由选择图像区部1325使用浏览对话窗口功能来选择图像。在一些具体实施中,选择图像区部1325中的推断颜色按钮引发颜色1435A-1435E基于输入图像的自动生成。在一些具体实施中,推断颜色按钮为通断切换开关。在一些具体实施中,选择图像区部1325中的重新加载按钮从选择图像区部1315重新加载所选择的当前图像并将颜色1435A-1435E重置为其原始设置。
在一些具体实施中,编码颜色区部1330允许从设计者接收用于自动或半自动地选择用于在视觉标记1400上的经着色标志中编码数据的多种颜色1435A、1435B、1435C、1435D的输入。在一些具体实施中,编码颜色区部1330包括背景颜色1435E,其被(例如,手动地、自动地)选择以确保所述多种颜色1435A、1435B、1435C、1435D在不同条件(例如,照明条件、打印条件、显示条件、图像传感器特征或它们的组合)下保持彼此可区分,并且因此可检测。
在一些具体实施中,基于输入图像1315自动选择颜色1435A-1435E(例如,选择图像区部1325中的推断颜色按钮被选择)。在一些具体实施中,设计者通过选择新颜色来手动改变颜色1435A-1435E的所选颜色。例如,设计者改变第一颜色1435A(例如,使用3D色彩空间对话窗口)。在该示例中,颜色1435B-1435E被自动修改以确保其可检测性(例如,参见图9或框1130)。在一些具体实施中,评估所述多种颜色1435A-1435E的色调和所述多种颜色1435A-1435E的发光两者以确保可检测性。
在一些具体实施中,设计者通过将所选颜色诸如1435A拖动到输入图像1315上方来手动改变颜色1435A-1435E中一者或多者的颜色,并且所选颜色1435A改变以匹配输入图像1315的该位置(例如,像素)处的基础颜色。在该示例中,在为颜色1435A选择新颜色时,颜色1435B-1435E被自动修改以确保其可检测性(例如,参见图9或框1130)。在一些具体实施中,设计者使用其他颜色选择技术为颜色1435A-1435E中的一者或多者选择新颜色。在一些具体实施中,对设计者所选择的颜色1435A-1435E进行评估(例如,评估美学特性或可检测特性),并且在UI 1300中呈现给设计者的所提议的修改后颜色可通过设计者的单个动作来接受。
在一些具体实施中,设计者将视觉标记1400的颜色(例如,第一颜色1435A)与视觉标记1400的另一颜色(例如,第三颜色1435C)切换,并且视觉标记被相应地重新编码。例如,设计者将颜色1435C拖动到颜色1435A上方,直到这些颜色在编码颜色区部1330中切换。在一些具体实施中,被设计的视觉标记(例如,视觉标记1400)中所述多种颜色中的任一种可如本文所述改变。
在一些具体实施中,位置区部1340允许从设计者接收用于在查看器1370中或在输入图像上方/上定位视觉标记的输入。在一些具体实施中,使用X位置和Y位置输入视觉标记1400的位置,并且将视觉标记1400移动到输入图像1400上方的该位置。在一些具体实施中,可分别使用增大/减小区部按钮1342、1344来增大或减小视觉标记1400的所输入的X和Y位置。另选地,设计者可选择视觉标记1400(例如,使用触摸屏、光标等)并且将视觉标记1400在查看器1370中四处拖动或在输入图像1315上方拖动以相对于输入图像1315定位视觉标记1400。在一些具体实施中,视觉标记可仅被定位成使得视觉标记1400在查看器1370中完全可见(例如,不能部分地在屏幕外)。
在一些具体实施中,尺寸区部1345允许从设计者接收用于输入视觉标记在查看器1370中或在输入图像上方/上的尺寸的输入。在一些具体实施中,在尺寸区部1345中手动输入视觉标记1400的尺寸,并且视觉标记1400在输入图像1315上方改变为该尺寸。在一些具体实施中,可使用增大/减小区部按钮1346来增大或减小视觉标记1400的所输入尺寸。另选地,在一些具体实施中,设计者可选择视觉标记1400(例如,使用触摸屏、光标等),并且在查看器1370中或在输入图像1315上方直接增大/减小视觉标记1400的尺寸。在一些具体实施中,视觉标记可仅被尺寸设定成使得视觉标记1400在查看器1370中完全可见(例如,不能部分地在屏幕外)。
在一些具体实施中,数据输入区部1350允许从设计者接收用于输入要使用经着色标志编码到视觉标记1400中的数据的输入。在一些具体实施中,数据输入区部1350使用标准文本、符号或图形输入技术。
在一些具体实施中,保存区部1355接收用于对当前正被设计的组成进行手动保存、周期性地保存或保存改变的输入。在一些具体实施中,设计者通过选择保存区部1355中的“保存”按钮来手动保存当前正被设计的组成。在一些具体实施中,设计者选择用于利用保存区部1355保存当前正被设计的视觉标记或组成的分辨率。在一些具体实施中,使用“保存改变”选择来对当前正被设计的组成保存改变。在一些具体实施中,“保存改变”选择是通断切换开关。
在一些具体实施中,显示复合区部1360允许接收用于在显示视觉标记1400或复合物之间交替的输入,该复合物包括在查看器区部1370中具有所选输入图像1315的视觉标记1400。
在一些具体实施中,打印区部1380允许从设计者接收用于打印视觉标记1400或复合物的输入,该复合物包括在查看器区部1370中具有所选输入图像1315的视觉标记1400。在一些具体实施中,设计者选择使用打印区部1380打印当前正被设计的视觉标记或组成的分辨率。
图14是示出根据一些具体实施的示例性经着色视觉标记的示意图。如图14所示,视觉标记1400包括用于检测和取向的第一部分1410、使用彩色标志在视觉标记1400中编码数据的第三部分1420、以及包括视觉标记1400的特定总体形状中各自以在视觉标记1000的第三部分1420的所编码彩色标志中使用的多种颜色(例如,A、B、C、D)之一着色的已知位置(例如,4)的第二部分1435。
如图14所示,第一部分1410包括用于检测和取向的预设形状。在一些具体实施中,第一部分1410是具有预定义形状的外部区域,该预定义形状对于多个不同视觉标记(例如,使用不同颜色编码不同数据的视觉标记)是一致的。如图14所示,第一部分1410为具有用于取向的间隙的薄六边形形状。在一些具体实施中,视觉标记1400的附加部分也可用于校正或取向。如图14所示,第一部分1410包括三个区部1410A、1410B和1410C。在一些具体实施中,这三个区部1410A、1410B和1410C是单个颜色的三个色度。在一些具体实施中,这三个区部1410A、1410B和1410C为更浅灰色、浅灰色和灰色,其中灰色比浅灰色深,并且浅灰色比更浅灰色深。
在一些具体实施中,第二部分1435A-D包括视觉标记1400的第一部分1410或特定总体形状中的已知位置或定位,其各自以在视觉标记1400中使用的数据编码颜色之一着色。如图14所示,第二部分1435具有4个位置,包括第一位置1435A(例如,在第一部分1410中)、第二位置1435B、第三位置1435C和第四位置1435D。这四个位置1435A-1435D各自分别以在第三部分1420中的经着色标志中编码数据所使用的A、B、C或D颜色之一着色。在一些具体实施中,第二部分1435可包括对应于为视觉标记选择的颜色中每一者的不同数量的位置。在一些具体实施中,这四个位置1435A-1435D对应于方法400的框455的所述多种颜色、图9的所述多种颜色950、或方法1100的框1130的颜色子组。
在一些具体实施中,第三部分1420使用颜色来编码视觉标记1400的数据。如图14所示,第三部分1420至少使用形状和颜色来编码视觉标记1400的数据。在图14中,第三部分1420在第一部分1410和第二部分1435的所述4个位置之间。如图14所示,第三部分1420包括经着色标志1425,该经着色标志包括第二部分1435的2种形状(例如,正方形、矩形)和4种颜色的组合。在一些具体实施中,第三部分1420包括从起始位置按象限顺时针或逆时针顺序排序的经着色形状1425-A1、1425-A2、...、1425A54。如图14所示,第三部分1420还包括背景位置1435E,该背景位置使用与在第一部分1410和第二部分1435中使用的颜色不同的颜色E。在一些具体实施中,背景位置的颜色被选择用于第二部分1435的颜色的可检测性。
在一些具体实施中,视觉标记1400包括中心区域1430。在一些具体实施中,中心区域1430用于装饰(例如,公司徽标)。在一些具体实施中,中心区域1430包括用于检测的特定形状或颜色,或用于视觉标记1400(例如,在物理环境的所捕获图像中)的取向或校正的特定形状、尺寸或角度的符号。在一些具体实施中,第二位置1435B、第三位置1435C和第四位置1435D围绕中心区域1430。
在一些具体实施中,这三个区段1410A、1410B和1410C的单一颜色不在第一部分1410或第三部分1420中使用。在一些具体实施中,这三个区部1410A、1410B和1410C用于在由图像传感器检测时执行视觉标记1400中的颜色的局部白平衡。在一些具体实施中,这三个区部1410A、1410B和1410C用于检测在所检测视觉标记1400处的空间变化的照明或校正任何所检测到的空间变化的照明。在一些具体实施中,所检测视觉标记1400处的空间变化的照明由光源、不均匀的照明、物理环境中的对象等引起。
图15是示出UI 1300的示意图,UI 1300被配置为设计使用颜色编码数据的另一视觉标记。在一些具体实施中,UI 1300允许从设计者接收用于基于使用颜色(例如,图形元素的尺寸、形状、颜色或取向)编码数据的视觉标记的源图像来确定多种颜色的输入。如图15所示,所选择的组成1505a包括使用UI 1300利用源图像1515确定的用于视觉标记1500的参数。如图15所示,视觉标记1500包括六边形形状、1色1535A、用于在经着色标志中编码数据的轮廓化或实心的矩形或正方形的两种形状、以及单独的背景颜色1535B。
图15是示出允许手动选择正被设计的经着色视觉标记中所述多种颜色的颜色(例如,1535A)的编码颜色区部1330的示例性对话窗口1540的示意图。如图15所示,对话窗口1540允许操纵红色滑块、蓝色滑块和绿色滑块以确定视觉标记1500的第一颜色1535A的新选择的颜色。
在一些具体实施中,确定可供选择用于在视觉标记中使用的一组颜色以及该组颜色中的多个颜色之间的距离的量度。在一些具体实施中,选择该组颜色的子组用于视觉标记,所述选择是基于该颜色子组的颜色之间的距离的量度。在一些具体实施中,基于该颜色子组生成视觉标记的外观,其中视觉标记外观包括使用该颜色子组编码数据的图形元素。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而,本领域的技术人员将理解,可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中,没有详细地介绍普通技术人员已知的方法、设备或系统,以便不使要求保护的主题晦涩难懂。
除非另外特别说明,否则应当理解,在整个说明书中,利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程,诸如一个或多个计算机或类似的电子计算设备,其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统,其访问存储的软件,该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化,例如,可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是,虽然术语“第一”、“第二”等可能在本文中用于描述各种对象,但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如,第一节点可以被称为第二节点,并且类似地,第二节点可以被称为第一节点,其改变描述的含义,只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点,但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样,单数形式的“一个”和“该”旨在也涵盖复数形式,除非上下文清楚地另有指示。还将理解的是,本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
如本文所使用的,术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真,具体取决于上下文。类似地,短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真,具体取决于上下文。
本发明的前述具体实施方式和发明内容应被理解为在每个方面都是例示性和示例性的,而非限制性的,并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定,而是根据专利法允许的全部广度。应当理解,本文所示和所述的具体实施仅是对本发明原理的说明,并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种方法,所述方法包括:
在具有处理器的电子设备处:
确定可供选择用于在视觉标记中使用的一组颜色;
确定所述一组颜色中的多种颜色之间的距离的量度;
选择所述一组颜色的子组用于所述视觉标记,所述选择是基于所述颜色子组的颜色之间的距离的所述量度;
基于所述颜色子组生成所述视觉标记的外观,其中所述视觉标记外观包括使用所述颜色子组编码数据的图形元素。
2.根据权利要求1所述的方法,其中确定所述一组颜色是基于输入图像。
3.根据权利要求1所述的方法,其中确定所述一组颜色包括:
基于输入标识所述一组颜色;以及
针对照明条件、打印设备条件或显示设备条件标识基于所述输入所标识的所述一组颜色的变型。
4.根据权利要求1所述的方法,其中确定所述一组颜色包括:
基于输入标识所述一组颜色;以及
针对多种照明条件、多种打印设备条件、或多种显示设备条件标识基于所述输入所标识的所述一组颜色的变型。
5.根据权利要求1所述的方法,其中确定所述一组颜色包括基于相机校准来标识变型。
6.根据权利要求1所述的方法,其中选择所述一组颜色的所述子组是基于确定所述颜色子组的所述颜色在3D色彩空间中彼此间隔开至少空间距离阈值。
7.根据权利要求1所述的方法,其中在没有用户输入的情况下自动选择所述颜色子组。
8.根据权利要求1所述的方法,其中选择所述一组颜色的所述子组是基于确定所述颜色子组的所述颜色独立于所述视觉标记的照明条件、所述视觉标记的打印或显示条件、或检测所述视觉标记的设备中的至少一者是能区分的。
9.根据权利要求1所述的方法,其中选择所述一组颜色的所述子组是基于确定所述颜色子组的所述颜色区别得足以能够在所部署视觉标记的各种照明条件下被感测所打印或显示的视觉标记的设备检测。
10.根据权利要求1所述的方法,其中选择所述一组颜色的所述子组包括以有序序列显示所述一组颜色,其中所述一组颜色是基于输入。
11.根据权利要求10所述的方法,所述方法进一步包括:
接收从以所述有序序列显示的所述一组颜色中选择一种颜色的输入;
基于与所选择的一种颜色的距离的量度从所述一组颜色中消除至少一种附加颜色;以及
以所述有序序列显示所述一组颜色中的剩余颜色。
12.根据权利要求10所述的方法,所述方法进一步包括:
(a)接收从以所述有序序列显示的所述一组颜色中选择一种颜色的输入;
(b)基于与所选择的一种颜色的距离的量度从所述一组颜色中消除至少一种附加颜色;以及
(c)以所述有序序列显示所述一组颜色中的剩余颜色;以及
(d)重复所述接收、所述消除和所述显示步骤,直到所述颜色子组的所有颜色被选择。
13.根据权利要求1所述的方法,其中确定所述一组颜色包括:
接收提供数量大于所述一组颜色的颜色选择的输入;以及
将所述颜色选择聚类成所述一组颜色。
14.根据权利要求1所述的方法,所述方法还包括:
使用来自包含所述颜色子组的一种对应颜色的每个颜色群集的一种颜色来确定所述颜色子组的另选子组。
15.根据权利要求1所述的方法,其中在色谱内的任何位置选择所述颜色子组。
16.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令,所述操作包括:
在具有处理器的电子设备处:
确定可供选择用于在视觉标记中使用的一组颜色;
确定所述一组颜色中的多种颜色之间的距离的量度;
选择所述一组颜色的子组用于所述视觉标记,所述选择是基于所述颜色子组的颜色之间的距离的所述量度;
基于所述颜色子组生成所述视觉标记的外观,其中所述视觉标记外观包括使用所述颜色子组编码数据的图形元素。
17.一种方法,所述方法包括:
在具有处理器和显示器和输入设备的电子设备处:
接收选择源图像的输入;
基于所述源图像确定颜色;
使用所确定的颜色生成经着色的视觉标记并编码数据;以及
显示预览,所述预览包括所述源图像和所述经着色视觉标记。
18.根据权利要求17所述的方法,其中基于所述源图像确定颜色还包括接收选择所确定的颜色中的至少一者的输入。
19.根据权利要求17所述的方法,还包括接收选择所述经着色视觉标记在所述源图像上的位置的输入。
20.根据权利要求17所述的方法,其中编码数据的所述经着色视觉标记覆盖在所述源图像上。
CN202011238507.2A 2019-11-15 2020-11-09 用于可变用途的经着色视觉标记 Active CN112817437B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962935747P 2019-11-15 2019-11-15
US62/935,747 2019-11-15
US202063003457P 2020-04-01 2020-04-01
US63/003,457 2020-04-01
US17/087,723 2020-11-03
US17/087,723 US11842236B2 (en) 2019-11-15 2020-11-03 Colored visual markers for variable use

Publications (2)

Publication Number Publication Date
CN112817437A true CN112817437A (zh) 2021-05-18
CN112817437B CN112817437B (zh) 2024-07-19

Family

ID=75854346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011238507.2A Active CN112817437B (zh) 2019-11-15 2020-11-09 用于可变用途的经着色视觉标记

Country Status (2)

Country Link
US (1) US20240062030A1 (zh)
CN (1) CN112817437B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230169697A1 (en) * 2020-05-25 2023-06-01 Telefonaktiebolaget Lm Ericsson (Publ) A computer software module arrangement, a circuitry arrangement, an arrangement and a method for providing a virtual display

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072779A1 (en) * 2004-09-28 2006-04-06 Ricoh Company, Ltd. Techniques for positioning images in electronic documents
WO2009029671A1 (en) * 2007-08-27 2009-03-05 University Of Chicago Systems and methods for image colorization
US20090281925A1 (en) * 2008-05-09 2009-11-12 Ltu Technologies S.A.S. Color match toolbox
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
US20140226900A1 (en) * 2005-03-01 2014-08-14 EyesMatch Ltd. Methods for extracting objects from digital images and for performing color change on the object
CN104200249A (zh) * 2014-08-26 2014-12-10 重庆邮电大学 一种衣物自动搭配的方法,装置及系统
WO2015148082A1 (en) * 2014-03-27 2015-10-01 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
CN105164994A (zh) * 2013-05-31 2015-12-16 英特尔公司 半固定色调色域压缩
WO2016044157A1 (en) * 2014-09-19 2016-03-24 Pixtronix, Inc. Display apparatus incorporating ambient light dependent subframe division
US20160117993A1 (en) * 2014-10-22 2016-04-28 Pixtronix, Inc. Image formation in a segmented display
CN107771313A (zh) * 2015-03-31 2018-03-06 飞利浦照明控股有限公司 颜色提取器
WO2019133505A1 (en) * 2017-12-29 2019-07-04 Pcms Holdings, Inc. Method and system for maintaining color calibration using common objects
CN110428028A (zh) * 2019-07-22 2019-11-08 杭州沃朴物联科技有限公司 基于准动态镭射标签的识别验伪方法、装置、设备及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072779A1 (en) * 2004-09-28 2006-04-06 Ricoh Company, Ltd. Techniques for positioning images in electronic documents
US20140226900A1 (en) * 2005-03-01 2014-08-14 EyesMatch Ltd. Methods for extracting objects from digital images and for performing color change on the object
WO2009029671A1 (en) * 2007-08-27 2009-03-05 University Of Chicago Systems and methods for image colorization
US20090281925A1 (en) * 2008-05-09 2009-11-12 Ltu Technologies S.A.S. Color match toolbox
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
CN105164994A (zh) * 2013-05-31 2015-12-16 英特尔公司 半固定色调色域压缩
WO2015148082A1 (en) * 2014-03-27 2015-10-01 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
CN104200249A (zh) * 2014-08-26 2014-12-10 重庆邮电大学 一种衣物自动搭配的方法,装置及系统
WO2016044157A1 (en) * 2014-09-19 2016-03-24 Pixtronix, Inc. Display apparatus incorporating ambient light dependent subframe division
US20160117993A1 (en) * 2014-10-22 2016-04-28 Pixtronix, Inc. Image formation in a segmented display
CN107771313A (zh) * 2015-03-31 2018-03-06 飞利浦照明控股有限公司 颜色提取器
WO2019133505A1 (en) * 2017-12-29 2019-07-04 Pcms Holdings, Inc. Method and system for maintaining color calibration using common objects
CN110428028A (zh) * 2019-07-22 2019-11-08 杭州沃朴物联科技有限公司 基于准动态镭射标签的识别验伪方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112817437B (zh) 2024-07-19
US20240062030A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
US9911243B2 (en) Real-time customization of a 3D model representing a real product
JP6199903B2 (ja) 光源のリモートコントロール
CN105592310A (zh) 用于投影仪校准的方法和系统
CN108701352A (zh) 使用基于三维对象模型的识别的图像修改与增强
US10096166B2 (en) Apparatus and method for selectively displaying an operational environment
US9147378B2 (en) Color selection interface
CN108693967A (zh) 虚拟现实与现实世界之间的转变
JP2016018560A (ja) 視覚効果を有するオブジェクトを表示する装置及び方法
CN110084204B (zh) 基于目标对象姿态的图像处理方法、装置和电子设备
WO2024064950A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
CN112105983B (zh) 增强的视觉能力
US20170293349A1 (en) Lighting system control method, computer program product, wearable computing device and lighting system kit
US20240062030A1 (en) Colored visual markers for variable use
KR102590957B1 (ko) 컴퓨터 생성 렌더링 환경을 위한 시각적 검색 세분화
CN108432344A (zh) 用于控制光源的控制器及其方法
CN112020731A (zh) 3d模型的多设备编辑
CN116057574A (zh) 色盲辅助技术系统和方法
WO2016079476A1 (en) Interactive vehicle control system
CN113284220A (zh) 基于来自物理环境的环境光修改经渲染的图像数据
JP2016142988A (ja) 表示装置及び表示制御プログラム
KR102587920B1 (ko) 물리적 환경으로부터의 광 중첩에 기초한 디스플레이 동작 파라미터들의 수정
JP6624541B2 (ja) 光投影装置及びそれを用いた照明装置
US11842236B2 (en) Colored visual markers for variable use
US10706590B2 (en) Subtitle beat generation method, image processing method, terminal, and server
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant