CN116034372A - 视觉标记物 - Google Patents
视觉标记物 Download PDFInfo
- Publication number
- CN116034372A CN116034372A CN202180055172.7A CN202180055172A CN116034372A CN 116034372 A CN116034372 A CN 116034372A CN 202180055172 A CN202180055172 A CN 202180055172A CN 116034372 A CN116034372 A CN 116034372A
- Authority
- CN
- China
- Prior art keywords
- markers
- implementations
- image
- visual marker
- marks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 230
- 239000003550 marker Substances 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 13
- 239000003086 colorant Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- -1 802.3x Chemical compound 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1434—Barcodes with supplemental or add-on codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06046—Constructional details
- G06K19/06056—Constructional details the marking comprising a further embedded marking, e.g. a 1D bar code with the black bars containing a smaller sized coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06046—Constructional details
- G06K19/0614—Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文所公开的各种具体实施包括多标度视觉标记物,该多标度视觉标记物使用不同的相应外观属性来传达多组标记中的信息。在一些具体实施中,第一组标记中的该标记的该外观属性对应于第一编码参数,并且第二组标记中的标记的该外观属性对应于与该第一编码参数不同的第二编码参数。在一些具体实施中,该第一组标记编码第一数据,并且该第二组标记与该第一组标记不同并编码第二数据。在一些具体实施中,该不同外观属性为不同标度(例如,不同大小、每单位空间的不同标记数量、不同对比度、不同颜色特性、不同波长、不同图像传感器类型等)。
Description
技术领域
本公开整体涉及传达信息的视觉标记物并且涉及捕获并解译此类视觉标记物的图像以获得并使用所传达信息的系统、方法和设备。
背景技术
如今,视觉标记物以条形码、快速响应(QR)码和其他专有格式的形式存在。QR码编码二进制数据诸如字符串或其他有效载荷。
发明内容
本文所公开的各种具体实施包括多标度视觉标记物。在一些具体实施中,多标度视觉标记物使用不同外观属性将数据编码在多组标记中。在一些具体实施中,不同外观属性是每单位空间的不同大小或不同数量的标记。在一些具体实施中,不同外观属性包括颜色特性诸如对比度。在一些具体实施中,不同外观属性包括波长或图像传感器类型。在一些具体实施中,多标度视觉标记物将不同信息编码在多组标记中的每个标记中。在一些具体实施中,按多标度视觉标记物的不同标度中的每种标度编码不同信息。在一些具体实施中,多标度视觉标记物中的不同外观属性对应于不同检测或编码/解码技术。本文所公开的各种其他具体实施解码或以其他方式解释越来越高分辨率的图像或更多细节的图像,以分级地检测和解码多标度视觉标记物的多组标记的不同外观属性。在一些具体实施中,多标度视觉标记物中的不同外观属性使用图像传感器(例如,相机)具体实施和处理器(例如,片上系统(SOC)具体实施两者处的分级式级联处理来提供功率高效检测和解码。
在一些具体实施中,视觉标记物包括编码第一数据的第一组标记和编码第二数据的第二组标记,其中该第二组标记与该第一组标记不同。在一些具体实施中,第一组中的标记相对于外观属性不同于第二组中的标记,其中第一组中的标记的外观属性对应于第一编码参数,并且第二组中的标记的外观属性对应于与第一编码参数不同的第二编码参数。
在一些具体实施中,在具有处理器的电子设备处,一种方法包括:根据第一图像捕获参数来获得物理环境的第一图像,其中该物理环境包括视觉标记物。在一些具体实施中,在第一图像中检测视觉标记物的第一组标记。在一些具体实施中,根据与第一图像捕获参数不同的第二图像捕获参数来获得物理环境的第二图像,其中该第二图像是基于检测到第一组标记而获得的。在一些具体实施中,在第二图像中解码视觉标记物的第二组标记。
根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施,一种设备包括:一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作环境的图示。
图2是根据一些具体实施的示例性电子设备的图示。
图3是示出根据一些具体实施的示例性多标度视觉标记物的图示。
图4A至图4B是示出根据一些具体实施的示例性多标度视觉标记物的图示。
图5A至图5C是示出根据一些具体实施的另一示例性多标度视觉标记物的图示。
图6是示出根据一些具体实施的多标度视觉标记物的分级解码的示例性方法的流程图。
根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将会知道,其他有效方面或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免模糊本文所述的示例性具体实施的更多相关方面。
图1示出了在物理环境105中使用电子设备120的示例性操作环境100。物理环境是指人们在没有电子系统帮助的情况下能够与其交互和/或对其感测的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
在图1的示例中,设备120被示出为单个设备。设备120的一些具体实施是手持式的。例如,设备120可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中,设备120由用户穿戴。例如,设备120可以是手表、头戴式设备(HMD)等。在一些具体实施中,设备120的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、CPU能力、GPU能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备120的功能的多个设备可经由有线或无线通信彼此通信。
在一些具体实施中,电子设备120被配置为创建、捕获、解译并且使用多标度视觉标记物(例如)以向用户115呈现内容。在一些具体实施中,电子设备120捕获物理环境的一个或多个图像,该物理环境包括多标度视觉标记物。在一些具体实施中,多标度视觉标记物使用不同外观属性将数据编码在多组标记中。电子设备120可以标识一个或多个图像中的多标度视觉标记物,并且分级地检测和解码或以其他方式解释多标度视觉标记物的多组标记。
图2是示例性设备200的框图。设备200示出了设备120的示例性设备配置。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,电子设备200包括一个或多个处理单元202(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器206、一个或多个通信接口208(例如,USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如,I/O)接口210、一个或多个显示器212、一个或多个面向内部或面向外部的图像传感器系统214、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中,该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中,该一个或多个I/O设备及传感器206包括以下项中的至少一者:惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如,结构光、飞行时间等)等。
在一些具体实施中,一个或多个显示器212被配置为向用户呈现内容。在一些具体实施中,一个或多个显示器212对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)或类似显示器类型。在一些具体实施中,一个或多个显示器212对应于衍射、反射、偏振、全息等波导显示器。例如,电子设备200可包括单个显示器。又如,电子设备200包括针对用户的每只眼睛的显示器。
在一些具体实施中,一个或多个面向内部或面向外部的传感器系统214包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如,麦克风)。该一个或多个图像传感器系统214可以包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机或者基于事件的相机等。在各种具体实施中,该一个或多个图像传感器系统214还包括发射光的照明源,诸如闪光灯。在一些具体实施中,该一个或多个图像传感器系统214还包括相机上图像信号处理器(ISP),其被配置为对图像数据执行多个处理操作。
存储器220包括高速随机存取存储器,诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备。在一些具体实施中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。
在一些具体实施中,存储器220或存储器220的非暂态计算机可读存储介质存储可选的操作系统230和一个或多个指令集240。操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中,指令集240包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中,指令集240是能够由一个或多个处理单元202执行以实施本文所述技术中的一种或多种的软件。在一些具体实施中,用于实施本文所述的由指令集240执行的技术中的一种或多种技术的功能或操作仅仅在专用硬件电路(例如,硅IP、硬件加速器等)中实现或在这两者的某一混合中实现。
在一些具体实施中,指令集240包括可由处理单元202执行以标识多标度视觉标记物的视觉标记物读取器242,并且通过在不同图像中检测或解码多组标记来解释由多标度视觉标记物传达的信息。可以使用不同图像捕获参数(例如,从远离视觉标记物的不同距离捕获)、使用不同光学和/或数字缩放水平、使用不同滤波器等来捕获不同图像。在一些具体实施中,视觉标记物读取器242被执行以检测和解释存在于例如由一个或多个面向内部或外部的传感器系统214捕获到的物理环境的一个或多个图像中的多标度视觉标记物。
在一些具体实施中,指令集240包括视觉标记物创建者244,该视觉标记物创建者可由处理单元202执行以创建多标度视觉标记物,该多标度视觉标记物根据本文所公开的技术中的一种或多种技术而使用不同的相应外观属性将数据编码在多组标记中。
尽管指令集240被示出为驻留在单个设备上,但应当理解,在其他具体实施中,元件的任何组合可位于单独的计算设备中。图2更多地用作存在于特定具体实施中的各种特征部的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,指令集的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。在一些具体实施中,硬件加速器使用专门制造的计算机硬件来比在处理器上执行的软件更高效地执行一些功能。可以计算的包括本文所公开的用于使用视觉标记物的技术中的一种或多种技术的数据或例程的任何转换可以仅仅在CPU上计算机可执行的程序指令中、仅仅在定制硬件中或在这两者的某一混合中执行。
图3是示出根据一些具体实施的示例性多标度视觉标记物的图示。在一些具体实施中,多标度视觉标记物使用不同外观属性将数据编码在多组标记中。在一些具体实施中,不同外观属性是不同标度。在一些具体实施中,多标度视觉标记物按(例如,相应的不同组标记的)不同标度中的每种标度编码不同信息。在一些具体实施中,不同外观属性是不同大小、每单位空间的不同标记数量、不同对比度、不同颜色特性、不同波长、不同图像传感器类型等。在一些具体实施中,多标度视觉标记物按不同标度中的每种标度编码不同类型的信息。在一些具体实施中,多标度视觉标记物中的不同外观属性对应于不同检测或编码/解码技术。
在一些具体实施中,使用来自图像传感器的越来越高分辨率的图像或更多细节的图像来分级地检测和解码多标度视觉标记物的不同标度。在一些具体实施中,多标度视觉标记物中的不同外观属性使用图像传感器(例如,相机)具体实施和处理器(例如,片上系统(SOC))处的分级式级联处理来提供功率高效检测和解码。
如图3所示,多标度视觉标记物300包括多组标记310、320、330。在一些具体实施中,多标度视觉标记物300包括多组标记中的第一组标记310。如图3所示,第一组标记310是多标度视觉标记物300中的非常高的标度(例如,非常大的大小或非常低的频率(每单位空间非常少的标记))特征。在一些具体实施中,第一组标记320用于编码多标度视觉标记物300的第一信息。在一些具体实施中,第一组标记310用于检测物理环境中是否具有视觉标记物。在一些具体实施中,第一组标记310用于确定多标度视觉标记物300是否在图像中(例如,在物理环境的图像传感器视场(FOV)内)的二进制检测过程(例如,是/否)。在一些具体实施中,使用低分辨率图像(例如,128×128像素全FOV图像)来检测第一组标记310。在一些具体实施中,图像传感器FOV例如在设备向用户提供对应于图像的视图的HMD具体实施中与电子设备的用户的FOV匹配,该图像用于检测和/或解码多标度视觉标记物300。
在一些具体实施中,检测设备处的分级处理的第一阶段被配置为检测和解码第一组标记310。此第一阶段可以在检测电子设备的图像传感器(例如,相机)和/或处理器(例如,SOC)处实现。在一些具体实施中,第一组标记310实现功率高效检测,这是因为用于检测电子设备的图像传感器和/或处理器可以被配置为捕获和/或处理相对少量的像素以检测和/或解码第一组标记310。在一些具体实施中,可以使用SOC的第一(例如,始终接通)域在一个或多个图像中检测第一组标记310(例如,分级具体实施的第一阶段)和/或解码该第一组标记。无论设备何时被通电、无论设备何时处于特定模式(例如,视觉标记物检测模式)、无论使用视觉标记物的应用程序何时为有源的或在其他预定环境中,第一域可以连续地操作。
在一些具体实施中,多标度视觉标记物300包括多组标记中的第二组标记320。如图3所示,第二组标记320是多标度视觉标记物300中的较小标度(例如,较小大小或较高频率)特征。在一些具体实施中,第二组标记320用于编码多标度视觉标记物300的第二信息。例如,此第二信息可以是用于在视觉标记物类别、类型或其他分类之间进行区分的多标度视觉标记物300的类别、类型或其他分类(例如,信息视觉标记物、产品/服务视觉标记物、体验视觉标记物、紧急情况视觉标记物等)。
在一些具体实施中,检测设备处的分级处理的第二阶段被配置为检测和解码第二组标记320。此第二阶段可以在图像传感器和/或处理器处实现。可以基于检测和/或解码第一组标记310来触发第二阶段。例如,检测和/或解码第一组标记310可以标识多标度视觉标记物存在于物理环境中(例如,存在于对应于物理环境的一部分的图像或FOV中)。在一些具体实施中,使用比第一组标记310更高分辨率的图像(例如,256×256像素图像)来捕获第二组标记320。较高分辨率图像可以提供可用于检测和/或解码第二组标记320的细节或特性。在一些具体实施中,第二组标记320实现功率高效检测,这是因为用于检测电子设备的图像传感器和/或处理器可以被配置为捕获和/或处理相对少量的像素以检测和/或解码第二组标记320。在一些具体实施中,可以使用SOC的第二域在图像中检测第二组标记320(例如,在分级检测/解码过程的第二阶段处使用)和/或解码该第二组标记。SOC的第二域可以使用比SOC的用于检测/解码第一组标记310的第一(例如,始终接通的)域相对更多的功率。然而,第二域可以被选择性地采用,例如,仅在基于检测到/解码了第一组标记310而被触发之后被采用。第二阶段的选择性触发可以减少功率消耗并且以其他方式提高设备的效率。
在一些具体实施中,多标度视觉标记物300包括多组标记中的第三组标记330。如图3所示,第三组标记330是多标度视觉标记物300中的甚至更小的标度(例如,甚至更小的大小或非常高的频率)特征。在一些具体实施中,第三组标记330用于编码多标度视觉标记物300的第三信息。在一些具体实施中,此第三信息可以是关于多标度视觉标记物300的详细信息(例如,该对象的唯一ID、消息、详细产品信息等)。
在一些具体实施中,检测设备处的分级处理的第三阶段被配置为检测和解码第三组标记330。此第三阶段可在图像传感器和/或处理器处实现。可以基于检测和/或解码第二组标记320或在检测到和/或解码了该第二组标记之后选择性地触发第三阶段。在一个示例中,基于对第二组标记320的检测和解码来启用第三阶段,该第二组标记标识检测电子设备的用户感兴趣的或对用户体验有意义(例如,预先选择的或实时选择的)的第二信息。例如,可以基于第二组标记320来启用第三分级阶段,该第二组标记标识对应于用户标识为感兴趣的预先选择的类别或预先选择的类别集合的信息的类别。
在一些具体实施中,基于对检测电子设备的用户输入来触发对第三组标记330的检测。在一个示例中,在解码了第二组标记320之后,提示用户获得多标度视觉标记物300的额外细节。例如,此类提示可以包括将用户移动得更靠近多标度视觉标记物300、将图像传感器放大到多标度视觉标记物300或以其他方式获得包括第三组标记330的额外细节的动向。如果用户对基于第二组标记320而标识的视觉标记物的类别、类型或分类感兴趣,则可以提示用户获得额外图像/细节。例如,可以在影片海报上邻近于视觉标记物显示消息,该消息标识“获得关于该影片移动得更近或放大的额外细节”。是否检测和/或解码第三组标记330可以因此取决于用户是否基于由第二组标记320提供的信息(例如,类别、类型或分类)而对多标度视觉标记物300感兴趣。
可以使用各种提示来获得足以检测和/或解码第三组视觉标记330的视觉标记物的额外图像。在一个示例中,多标度视觉标记物300被确定为向右转动90°并且移开25m,并且提示用户向右转动并且靠近15m。在一些具体实施中,对第三组标记330的检测使用较高分辨率图像(例如,1024×1024像素图像)。在一些具体实施中,可以使用SOC的第三域在图像中检测第三组标记330(例如,在分级具体实施的第三阶段处检测和/或解码)。第三阶段可以使用比SOC的第二域更多的功率。然而,可以基于标准和/或用户输入/动作来选择性地触发第三阶段。第三阶段的选择性触发可以减少功率消耗并且以其他方式提高设备的效率。在一些具体实施中,SOC的第一域、第二域和第三域被实现为独立地、分级地或按需启用的多个独立的专用硬件电路(例如,硅IP、硬件加速器等)。
在一些具体实施中,多标度视觉标记物300的多组标记310、320、330中的每个标记包括多组标记。如图3所示,多标度视觉标记物300在标记330的组中包括6组标记330a、330b、330c、330d、330e、330f。同样如图3所示,多标度视觉标记物300在标记320的组中包括6组标记(320a、320b、320c、330d、320e、320f)。在一些具体实施中,多标度视觉标记物300在标记310的组中包括标记组。
在一些具体实施中,多标度视觉标记物300具有单个可检测取向。在一些具体实施中,多标度视觉标记物300使用标记组中的一个标记或至少一个额外特征来确定单个可检测取向。如图3所示,第一组标记310包括取向指示310A,该取向指示在矫正包含多阶段视觉标记物300的图像时可以定向于规定方向(例如,12点钟)上。在一些具体实施中,可以使用取向来确定在何处开始读取、解码或以其他方式解释由多组标记310、320、330表示的信息。例如,读取所定向的多标度视觉标记物300中的数据可以在12点钟位置处开始,并且在多组标记310、320、330中的每个标记中顺时针前进(例如,在形成标记组的每个组中从左到右前进)。
在一些具体实施中,使用第一组标记310来检测多标度视觉标记物300(例如,在图像中)。在一些具体实施中,第一组标记310具有特有或独特的形状。在一些具体实施中,第一组标记310具有与自然界中出现的形状(例如,自然形状或大小比率)不匹配的特有形状。在一些具体实施中,第一组标记310具有与人造的形状(例如,类似砖块的矩形形状或大小比率)不匹配的特有形状。在一些具体实施中,第一组标记310是具有预定义形状或预定义尺寸比(例如,厚度与直径的比)的区域或形状。在一些具体实施中,第一组标记310为单个颜色(例如,灰色、白色)。在一些具体实施中,第一组标记310使用在多标度视觉标记物300中的其他地方不使用的一种或多种颜色。在一些具体实施中,第一组标记310是如由电子设备上的图像传感器所见的预设数量像素(例如,高、宽等)。
在一些具体实施中,在(例如,物理环境的)图像中对多标度视觉标记物300的检测可以使用机器学习(ML)来实现。用于对象检测的ML方法包括基于机器学习的方法或基于深度学习的方法。在一些具体实施中,机器学习方法首先从包含输入和期望输出两者的一组数据定义特征,然后使用分类技术来标识对象。在一些具体实施中,深度学习技术例如使用卷积神经网络(CNN)进行端到端对象检测而不明确定义特征部。在一些具体实施中,第一组标记的颜色对于不同的视觉标记物是不同的,并且因此,对多标度视觉标记物300的检测使用基于形状的ML来检测第一组标记。在一些具体实施中,第一组标记的颜色是一致的(例如,对于不同的视觉标记物是相同的),并且因此,对多标度视觉标记物300的检测使用基于形状和颜色的ML来检测第一组标记。
在一些具体实施中,多标度视觉标记物300包括多组标记310、320、330,其中标记组中的每个标记使用相同或不同的编码技术来编码信息。在一些具体实施中,多标度视觉标记物300包括多组标记310、320、330,其中这些标记中的至少一个标记使用不同的编码技术。
在一些具体实施中,多标度视觉标记物300将多组标记310、320、330混合。在一些具体实施中,多标度视觉标记物300在空间上分离多组标记310、320、330。如图3所示,多标度视觉标记物300将标记310、320、330的组混合。
在一些具体实施中,多标度视觉标记物300的多组标记310、320、330包括各自编码至少1位数据的参数化图形元素。在一些具体实施中,使用通过图形元素的大小、形状、颜色、取向等参数化的元素来编码多组标记310、320、330。
在一些具体实施中,在色谱内的任何地方选择多标度视觉标记物300的多组标记310、320、330的第一颜色和多标度视觉标记物300的背景的第二颜色。在一些具体实施中,多标度视觉标记物300的第一颜色和第二颜色可以是任何颜色,但是通常两种颜色是基于可检测性或美学而选择的。在一些具体实施中,两种颜色的可检测性是基于3D颜色空间中的间隔、照明条件、打印条件、显示条件、图像捕获传感器或美学信息中的一者或多者。在一些具体实施中,多标度视觉标记物300的颜色不用于编码数据。
图4A至图4B是示出根据一些具体实施的示例性多标度视觉标记物的图示。在一些具体实施中,多标度视觉标记物使用不同标度(例如,不同大小、每单位空间不同标记数量、不同颜色特性诸如对比度、不同波长或不同图像传感器类型)将数据编码在多组标记中。如图4所示,多标度视觉标记物400包括第一组标记410、第二组标记420、第三组标记430和第四组标记440。
在一些具体实施中,电子设备450能够从第一距离检测多标度视觉标记物400。在一些具体实施中,电子设备450能够在第一距离处在物理环境的图像中检测多标度视觉标记物400。在一些具体实施中,第一距离为10m到15m。在一些具体实施中,第一组标记410(例如,标度零“0”)包括多标度视觉标记物400的第一编码数据。在一些具体实施中,使用第一组标记410来确定多标度视觉标记物400在物理环境中的出现(例如,二进制检测过程是/否)。在一些具体实施中,第一组标记410提供多标度视觉标记物400的取向或版本。
在一些具体实施中,多标度视觉标记物400的第二组标记420(例如,标度一“1”)可在第二距离处检测。在一些具体实施中,电子设备450能够至少从第二距离(或更小距离)在物理环境的图像中检测第二组标记420。在一些具体实施中,第二距离为5m到7m。在一些具体实施中,标度“1”信息包括多标度视觉标记物400的第二编码数据。在一些具体实施中,标度“1”信息包括多标度视觉标记物400的高级类型。例如,视觉标记物类型可以包括信息类型、产品类型、娱乐类型、紧急情况类型等。
在一些具体实施中,多标度视觉标记物400的第三组标记430(例如,标度二“2”)可在第三距离处检测。在一些具体实施中,电子设备450能够至少从第三距离(或更小距离)在物理环境的图像中检测第三组标记430。在一些具体实施中,第三距离为2m。在一些具体实施中,标度“2”信息包括多标度视觉标记物400的第三编码数据。在一些具体实施中,标度2信息包括多标度视觉标记物400的上下文信息。例如,标度3信息可以是餐馆类型和名称,或可以是生产满足标准并且由1个零售商销售的产品的一组制造商。
在一些具体实施中,多标度视觉标记物400的第三组标记440(例如,标度三“3”)可在第四距离处检测。在一些具体实施中,电子设备450能够至少从第四距离(或更小距离)在物理环境的图像中检测第四组标记440。在一些具体实施中,第四距离为0.5m。在一些具体实施中,标度“3”信息包括多标度视觉标记物400的第四编码数据。在一些具体实施中,标度3信息包括多标度视觉标记物400的详细信息。例如,标度3信息可以是具有餐馆价格的菜单、产品信息(诸如产品的产品ID、制造商、型号、成本或可用性)或具有地铁线路的目的地、费用、出发时间的列车时刻表。
图5A至图5C是示出根据一些具体实施的示例性多标度视觉标记物的图像的示图。在一些具体实施中,多标度视觉标记物使用不同颜色特性(诸如对比度)将数据编码在多组标记中。如图5A至图5C所示,多标度视觉标记物500包括多组标记510、520、530。
图5A示出了多标度视觉标记物500的一组彩色标记510。在一些具体实施中,这组彩色标记存储或编码最多的信息,这是因为每种颜色可以表示不同信息。如图5A所示,100个标记(例如,正方形)中的每个标记使用不同颜色C1、C2、……、C100。在另一示例中,如果彩色多标度视觉标记物500A使用32种颜色,则这些标记中的每个标记可以编码5位数据。在一些具体实施中,彩色多标度视觉标记物500A中的每个2×2区段是亮的或暗的。
图5B示出了多标度视觉标记物500的一组灰度标记520。在一些具体实施中,用灰度相机观看多标度视觉标记物500以获得这组灰度标记520。在一些具体实施中,这组灰度标记520比这组彩色标记510存储或编码更少的信息。如图5B所示,100个标记(例如,正方形)中的每个标记使用8种灰度颜色G1、G2、……、G8中的一种灰度颜色来编码3位数据。在一些具体实施中,100个标记(例如,正方形)中的每个标记使用16种灰度颜色中的一种灰度颜色来编码4位数据。
图5C示出了多标度视觉标记物500的一组单色标记530。在一些具体实施中,用仅识别黑色和白色来获得这组单色标记530的相机观看多标度视觉标记物500。在一些具体实施中,这组单色标记530比这组灰度标记520存储或编码更少的信息。如图5C所示,25个标记(例如,正方形)中的每个标记使用黑色或白色来编码1位数据。在一些具体实施中,这组单色标记530具有比这组灰度标记520更小的颗粒度。
在一些具体实施中,多标度视觉标记物300、400、500是以预设格式(例如,二进制格式)编码信息的2D/3D对象,该预设格式诸如用于访问基于远程的体验的字符串或其他有效载荷。在一些具体实施中,到基于远程的体验的链接包括发起支付的链接(例如,经认可的支付端点)、到网站的链接(例如,URL)或启动到基于web的体验中的链接。在一些具体实施中,多标度视觉标记物用于仅启动或仅链接到多标度视觉标记物的创建者授权的经认可的基于远程的体验。在一些具体实施中,多标度视觉标记物的创建者包括设计多标度视觉标记物的实体、打印(例如,制作)多标度视觉标记物的实体(例如,开发者)以及管理/托管多标度视觉标记物的实体。
图6是示出根据一些具体实施的多标度视觉标记物的分级解码的示例性方法的流程图。在一些具体实施中,多标度视觉标记物使用对应于不同检测或编码技术的不同外观属性将数据编码在多组标记中。在一些具体实施中,不同外观属性为不同标度(例如,每单位空间的大小或#、不同对比度或不同波长(例如,IR、可见光差异))。在一些具体实施中,使用来自图像传感器的越来越高分辨率的图像来分级地检测和/或解码多标度视觉标记物的额外标度。在一些具体实施中,方法600由设备(例如,图1至图2的电子设备120、200)执行。方法600可使用电子设备执行,或者由彼此通信的多个设备执行。在一些具体实施中,方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中,方法600由执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器执行。
在框610处,方法600根据第一图像捕获参数来获得物理环境的第一图像,该物理环境包括视觉标记物。在一些具体实施中,第一图像为低分辨率(例如,64×64像素)图像。在一些具体实施中,周期性地获得物理环境的低分辨率(例如,64×64)第一图像。在一些具体实施中,在电子设备的处理器的低功率操作模式下周期性地获得物理环境的第一图像。在一些具体实施中,处理器的始终接通的硬件部件用于通过从电子设备上的图像传感器重复地获得第一图像来连续地搜索物理环境中的视觉标记物。
在框620处,方法600在第一图像中检测视觉标记物的第一组标记。在一些具体实施中,第一组标记是嵌入在视觉标记物中的非常高的标度(例如,较大或较低频率)特征。在一些具体实施中,第一组标记用于二进制检测(例如,在电子设备FOV或用户FOV内的视觉标记物/无视觉标记物),这是因为第一组标记可以在第一图像(例如,64×64全FOV图像)中以低分辨率进行检测。在一些具体实施中,对使用第一组标记的视觉标记物的二进制检测实现功率高效检测,这是因为图像传感器(例如,相机)和处理器(例如,SOC)两者分别捕获和处理少量像素(例如,4096个像素)以执行此检测。在一些具体实施中,在第一图像中对视觉标记物的检测(例如,使用第一组标记)使用SOC的始终接通的域并且连续执行以分析第一图像。在一些具体实施中,第一组标记可在诸如15m或20m的预设距离处在第一图像中看见或检测。
在一些具体实施中,在框620处,视觉标记物在物理环境中的对象的表面处可视。在一些具体实施中,视觉标记物打印在对象的表面上。在一些具体实施中,视觉标记物由2D或3D打印机打印。在一些具体实施中,视觉标记物由黑白打印机或彩色打印机(例如,RGB或CYMK)打印。在一些具体实施中,视觉标记物被着色蚀刻、涂漆、粉末化、绘制、喷涂等到对象的表面上。在一些具体实施中,视觉标记物由显示器显示或由投影仪投影在物理环境中的对象上。在一些具体实施中,显示器或投影仪是自发光的、发射的、透射的或反射的。
在框630处,方法600根据与第一图像捕获参数不同的第二图像捕获参数来获得物理环境的第二图像,该第二图像是基于检测到第一组标记而获得的。在一些具体实施中,第二图像捕获参数包括视觉标记物的增加的细节。在一些具体实施中,由电子设备以比第一图像更高的分辨率(例如,256×256像素)获得物理环境的第二图像。在一些具体实施中,以比第一图像更大的颗粒度(例如,放大)获得物理环境的第二图像。在一些具体实施中,在物理环境中的紧接的连串视觉标记物中获得多个第二图像。在一些具体实施中,在第一图像中检测到第一标记时自动发起至少一个第二图像。在一些具体实施中,在电子设备的第二较高功率操作模式下获得物理环境的第二图像。
在框640处,方法600在第二图像中解码视觉标记物的第二组标记。在一些具体实施中,第二组标记是比第一组标记更小的标度(例如,一组更小大小或更高频率的标记)。在一些具体实施中,第二组标记编码关于视觉标记物的信息。在一些具体实施中,第二组标记编码关于视觉标记物的高级信息。在一些具体实施中,第二组标记编码视觉标记物的高级类别(例如,信息视觉标记物、产品视觉标记物、方向视觉标记物、空间视觉标记物、紧急情况视觉标记物等),并且可用于在视觉标记物的类别之间区分视觉标记物。在一些具体实施中,在第二图像中对第二组标记的检测是视觉标记物的分级处理和解码的第二步骤,其仅在第一图像中检测到第一组标记时被触发,这确定了视觉标记物存在于FOV内。在一些具体实施中,在第二图像中对第二组标记的检测需要较高分辨率图像(例如,256×256像素)来捕获第二组标记的细节。在一些具体实施中,在第二图像中对第二组标记的检测需要更多处理能力,这是因为图像传感器(例如,相机)和处理器(例如,SOC))两者分别捕获和处理较高数量的像素(例如,65,536个像素)以执行此检测。在一些具体实施中,在第二图像中对第二组标记的检测使用SOC的仅执行以分析第二图像的第二域。在一些具体实施中,在第二图像中对第二组标记的检测实现功率高效检测,这是因为图像传感器(例如,相机)和处理器(SOC)两者仅在需要时才被触发和执行。在一些具体实施中,第二组标记可在诸如小于10m的预设距离处在第二图像中看见或检测。
在一些具体实施中,视觉标记物具有独特的可检测取向。在一些具体实施中,方法600基于视觉标记物的取向来解码数据,该数据编码了第二组标记。在一些具体实施中,使用第一组标记、第二组标记、额外组标记或嵌入于视觉标记物中的额外特征来确定取向。在一些具体实施中,可以矫正第一图像和第二图像以考虑图像捕获条件。在一些具体实施中,矫正使来自图像的视觉标记物扭曲以使视觉标记物在从正上方取向观看时看起来是平的。
在一些具体实施中,方法600根据与第一图像捕获参数和第二图像捕获参数不同的第三图像捕获参数来获得物理环境的第三图像,该第三图像是基于检测到第二组标记而获得的。在一些具体实施中,第三图像捕获参数包括视觉标记物的增加的细节(例如,与第二组标记相比)。在一些具体实施中,由电子设备以比第二图像更高的分辨率(例如,512×512像素)获得物理环境的第三图像。在一些具体实施中,以比第二图像更大的颗粒度(例如,放大)获得物理环境的第三图像。在一些具体实施中,在物理环境中的紧接的连串视觉标记物中获得多个第三图像。在一些具体实施中,在第二图像中检测到第二标记或在第一图像中检测到第一标记时自动发起至少一个第三图像。在一些具体实施中,在电子设备的第三较高功率操作模式(例如,与第二操作模式相比)下获得物理环境的第三图像。
在一些具体实施中,方法600在第三图像中解码视觉标记物的第三组标记。在一些具体实施中,第三组标记是比第二组标记更小的标度(例如,一组更小大小或更高频率的标记)。在一些具体实施中,第三组标记编码关于视觉标记物的额外信息。在一些具体实施中,第三组标记编码视觉标记物的详细信息。在一些具体实施中,第三组标记编码视觉标记物的至少256位信息,并且可以用于区分一种类别的视觉标记物内的视觉标记物。在一些具体实施中,在第三图像中对第三组标记的检测是分级处理的第三步骤,并且第三组标记的解码仅在解码了第二组标记并且电子设备的用户基于第二组标记(例如,类别)而对视觉标记物感兴趣时才被触发。在一些具体实施中,在第三图像中对第三组标记的检测需要较高分辨率图像(例如,512×512像素)来捕获第三组标记的细节。在一些具体实施中,在第三图像中对第三组标记的检测需要更多处理能力,这是因为图像传感器(例如,相机)和处理器(例如,SOC))两者分别捕获和处理较高数量的像素(例如,262,144个像素)以执行此检测。在一些具体实施中,在第三图像中对第三组标记的检测使用SOC的仅执行以分析第三图像的第三域。在一些具体实施中,在第三图像中对第三组标记的检测实现功率高效检测,这是因为图像传感器(例如,相机)和处理器(SOC)两者仅在需要时才被触发和执行。在一些具体实施中,SOC的第一域、第二域和第三域被实现为独立地、分级地或按需启用的多个独立的专用硬件电路(例如,硅IP、硬件加速器等)。在一些具体实施中,第三组标记可在诸如小于1m或0.5m的预设距离处在第三图像中看见或检测。
在一些具体实施中,电子设备包括UI,其从电子设备的用户接收导致移动、调整(例如,缩放、闪光)或硬件选择的指令以获得视觉标记物的更多信息。例如,可以基于解码标度1-标签类型(电影院、餐馆等)来显示一些指令。在这种情况下,可以向用户显示在选择或采取动作后将增加视觉标记物的可见细节或颗粒度的信息。例如,视觉标记物被确定为向右转动90°并且移开25m,并且提示用户向右转动并且靠近15m(例如,以允许包括标度2信息-餐馆类型、标度3信息-营业时间以及标度4信息-具有价格的午餐或晚餐菜单的更佳图像)。
在一些具体实施中,外观属性包括标记物大小,诸如标记物高度、标记物宽度或标记物面积。在一些具体实施中,大小属性包括可检测的或预设的物理大小,例如,标度0至3具有24、1、1/4、1/16英寸的相应大小。在一些具体实施中,大小属性包括预设的或可检测的相对物理大小,例如,标度0至3具有相应物理比率,使得一个标度的大小是紧接的较小标度的2×或1.5×。
在一些具体实施中,外观属性包括视觉标记物内的每单位空间(例如,频率)的标记数量。在一些具体实施中,大小属性包括可检测的或预设的频率或相应的频率比,使得一个标度的频率是紧接的较大标度的2×或1.5×。
在一些具体实施中,外观属性包括对比度或颜色。在一些具体实施中,对比度可以从标度0减小到标度3。在一个示例中,对比度标度0使用黑色和白色,而标度1是灰度并且标度2(或更大标度)使用甚至更低对比度的颜色。因此,两种不同颜色可以具有相同对比度(例如,灰度值)。在该示例中,红色和绿色的一些深色调将在灰度图像(例如,滤色器)中看起来相同,但是在由彩色相机观看的彩色图像中,红色和绿色的深色调看起来非常不同(例如,标度2或颜色)。
在一些具体实施中,外观属性包括波长或图像传感器类型。在一些具体实施中,标度0可以使用IR传感器,并且标度1可以使用RGB传感器。
在一些具体实施中,视觉标记物具有预设形状,诸如非对称形状、对称形状、椭圆形、矩形、三角形、蝴蝶结形等。在一些具体实施中,多组标记以不同方式在空间上分离或在空间上混合。在一些具体实施中,视觉标记物的多组标记包括多个越来越大形状(例如,多边形、环形等)的标记。在一些具体实施中,标度0标记具有围绕标度1标记的预设形状,标度1标记具有围绕标度2标记的预设形状,标度3标记具有围绕标度标记的预设形状,等等。在一些具体实施中,形状中的至少一种形状是不同的,或全部形状都是相同的。
在一些具体实施中,在框610或630处,电子设备处的图像传感器捕获包括视觉标记物的物理环境的图像。在一些具体实施中,传感器可以是RGB相机、深度传感器、RGB-D相机、单色相机、一个或多个2D相机、事件相机、IR相机等。在一些具体实施中,使用传感器的组合。在一些具体实施中,传感器用于生成表示物理环境的CGR环境。在一些具体实施中,可使用彩色图像。另选地,在一些具体实施中,可使用灰度图像。
在一些具体实施中,在框640处,方法600进一步将视觉标记物的数据解码成二进制数据诸如字符串或其他有效载荷以发起支付、链接到网站、链接到基于位置的体验或基于上下文的体验或启动到其他基于web的体验。在一些具体实施中,就解码之后的用户体验而言,视觉标记物的使用可以是任意的。例如,视觉标记物可在TV上显示,并且在被扫描时,所解码数据可帮助用户选择选项、获得关于正在TV上显示的影片的信息等。在另一示例中,来自视觉标记物的所解码数据在被用户扫描时可发起扫描电子设备(例如,智能电话)上的应用程序,诸如食物递送应用程序。在一些具体实施中,视觉标记物可被显示,并且在被扫描时,所解码数据将音频消息或音乐递送给解码电子设备。
在一些具体实施中,将视觉标记物的版本编码在视觉标记物的第一部分(例如,第一组标记)中。在一些具体实施中,视觉标记物的版本改变多组标记的数量、改变在视觉标记物中使用的颜色、改变数据量或改变用于编码数据的图形段。
在一些具体实施中,在框610或框630处,方法600基于一个或多个图像来确定检测电子设备与视觉标记物之间的相对定位。在一些具体实施中,相对定位确定视觉标记物相对于检测电子设备的相对取向。在一些具体实施中,使用计算机视觉技术(例如,VIO或SLAM)或PNP技术来确定相对定位。在一些具体实施中,基于立体图像处理(例如,基于不同的估计)来确定相对定位。在一些具体实施中,相对定位确定从检测电子设备到视觉标记物的距离或方向。在一些具体实施中,相对定位确定所检测到的视觉标记物相对于检测电子设备的位姿的位姿(例如,位置和取向)。在一些具体实施中,在检测电子设备处通过标识捕获图像中的所检测到的视觉标记物的大小或标度(例如,使用计算机视觉来预设、编码或确定)来确定相对定位。另选地,可基于检测物理环境中的视觉标记物的检测电子设备处的深度传感器来确定检测电子设备和所检测到的视觉标记物之间的距离。在一些具体实施中,检测电子设备处的深度传感器使用基于立体的深度估计。在一些具体实施中,检测电子设备处的深度传感器是深度专用传感器(例如,飞行时间、结构光)。
在一些具体实施中,多组标记使用图形元素来编码视觉标记物的数据。在一些具体实施中,通过视觉标记物中的大小、形状、颜色、取向等来使图形元素参数化。
本文所公开的各种具体实施包括提供多标度视觉标记物的设备、系统和方法,该视觉标记物包括本文(例如,单独地或组合地)所述的各种特征。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而,本领域的技术人员将理解,可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中,没有详细地介绍普通技术人员已知的方法、装置或系统,以便不使要求保护的主题晦涩难懂。
除非另外特别说明,否则应当理解,在整个说明书中,利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程,诸如一个或多个计算机或类似的电子计算设备,其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统,其访问存储的软件,该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化,例如,可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是,虽然术语“第一”、“第二”等可能在本文中用于描述各种对象,但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如,第一节点可以被称为第二节点,并且类似地,第二节点可以被称为第一节点,其改变描述的含义,只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点,但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样,单数形式的“一个”和“该”旨在也涵盖复数形式,除非上下文清楚地另有指示。还将理解的是,本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
如本文所使用的,术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真,具体取决于上下文。类似地,短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真,具体取决于上下文。
本发明的前述具体实施方式和发明内容应被理解为在每个方面都是例示性和示例性的,而非限制性的,并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定,而是根据专利法允许的全部广度。应当理解,本文所示和所述的具体实施仅是对本发明原理的说明,并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。
Claims (21)
1.一种传达信息的视觉标记物,所述视觉标记物包括:
第一组标记,所述第一组标记编码第一数据;
第二组标记,所述第二组标记编码第二数据,所述第二组标记与所述第一组标记不同;
其中所述第一组中的标记相对于外观属性不同于所述第二组中的标记,其中所述第一组中的标记的所述外观属性对应于第一编码参数,并且所述第二组中的标记的所述外观属性对应于与所述第一编码参数不同的第二编码参数。
2.根据权利要求1所述的视觉标记物,其中所述外观属性是物理大小,并且其中所述物理大小是标记物高度、标记物宽度或标记物面积。
3.根据权利要求1所述的视觉标记物,其中所述外观属性是由所述视觉标记物内的每单位空间的标记数量定义的标记物频率。
4.根据权利要求1所述的视觉标记物,其中所述外观属性是对比度。
5.根据权利要求1所述的视觉标记物,其中所述外观属性是颜色。
6.根据权利要求1所述的视觉标记物,其中所述外观属性对应于波长。
7.根据权利要求1至6中任一项所述的视觉标记物,还包括编码第三数据的第三组标记,
其中所述第三组中的标记相对于所述外观属性不同于所述第一组中的标记和所述第二组中的标记,
其中所述第三组中的标记的所述外观属性对应于与所述第一编码参数和所述第二编码参数不同的第三编码参数。
8.根据权利要求7所述的视觉标记物,其中所述第三组标记比所述第二组标记编码更多的数据,并且所述第二组标记比所述第一组标记编码更多的数据。
9.根据权利要求1至8中任一项所述的视觉标记物,其中所述第一组标记和所述第二组标记在所述视觉标记物中混合。
10.一种方法,包括:
在具有处理器的电子设备处:
根据第一图像捕获参数来获得物理环境的第一图像,所述物理环境包括视觉标记物;
在所述第一图像中检测所述视觉标记物的第一组标记;
根据与所述第一图像捕获参数不同的第二图像捕获参数来获得所述物理环境的第二图像,所述第二图像是基于检测到所述第一组标记而获得的;以及
对所述第二图像中的所述视觉标记物的第二组标记进行解码。
11.根据权利要求10所述的方法,其中所述第一组中的标记相对于外观属性不同于所述第二组中的标记。
12.根据权利要求10所述的方法,其中第一图像捕获参数是第一分辨率,并且所述第二图像捕获参数是与所述第一图像捕获参数不同的第二分辨率。
13.根据权利要求10所述的方法,根据与所述第一图像捕获参数和所述第二图像捕获参数不同的第三图像捕获参数来获得所述物理环境的第三图像,所述第三图像是基于检测到所述第一组标记而获得的;并且
对所述第三图像中的所述视觉标记物的第三组标记进行解码,其中所述第三组中的标记相对于外观属性不同于所述第一组中的标记和所述第二组中的标记。
14.根据权利要求10所述的方法,其中所述第一图像捕获参数对应于第一相机,并且所述第二图像捕获参数对应于与所述第一相机不同的第二相机。
15.根据权利要求10至13中任一项所述的方法,还包括:
使用片上系统(SOC)的第一部分来检测所述第一组;并且
使用所述SOC的第二部分来检测所述第二组,其中所述第一部分和所述第二部分被实现为多个单独的专用硬件电路。
16.根据权利要求10至13中任一项所述的方法,其中所述SOC的所述第一部分始终接通,并且所述SOC的所述第二部分被选择性地启用。
17.根据权利要求10至16中任一项所述的方法,还包括:
解码来自所述第一组标记的第一数据,所述第一数据包括第一信息水平;以及
基于所述第一信息水平在所述设备上提供内容。
18.根据权利要求17所述的方法,其中所述内容包括用于移动或缩放所述设备的指令。
19.根据权利要求18所述的方法,还包括:
其中解码所述第二组标记解码了第二信息水平;
基于所述第二信息水平在所述设备上提供第二内容,其中所述第二内容包括所述第二信息水平和用于移动或缩放所述设备以为更多信息的第二指令。
20.一种系统,包括:
非暂态计算机可读存储介质;和
一个或多个处理器,所述一个或多个处理器耦接到所述非暂态计算机可读存储介质,其中所述非暂态计算机可读存储介质包括程序指令,所述程序指令在所述一个或多个处理器上执行时使所述系统执行包括以下的操作:
根据第一图像捕获参数来获得物理环境的第一图像,所述物理环境包括视觉标记物;
在所述第一图像中检测所述视觉标记物的第一组标记;
根据与所述第一图像捕获参数不同的第二图像捕获参数来获得所述物理环境的第二图像,所述第二图像是基于检测到所述第一组标记而获得的;并且
对所述第二图像中的所述视觉标记物的第二组标记进行解码。
21.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储在计算机或所述计算机上的专用硬件电路上计算机可执行的程序指令,所述程序指令用于执行包括以下的操作:
根据第一图像捕获参数来获得物理环境的第一图像,所述物理环境包括视觉标记物;
在所述第一图像中检测所述视觉标记物的第一组标记;
根据与所述第一图像捕获参数不同的第二图像捕获参数来获得所述物理环境的第二图像,所述第二图像是基于检测到所述第一组标记而获得的;并且
对所述第二图像中的所述视觉标记物的第二组标记进行解码。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063051529P | 2020-07-14 | 2020-07-14 | |
US63/051,529 | 2020-07-14 | ||
US17/350,515 | 2021-06-17 | ||
US17/350,515 US11755854B2 (en) | 2020-07-14 | 2021-06-17 | Visual marker |
PCT/US2021/040993 WO2022015583A1 (en) | 2020-07-14 | 2021-07-09 | Visual marker |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116034372A true CN116034372A (zh) | 2023-04-28 |
Family
ID=79293439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180055172.7A Pending CN116034372A (zh) | 2020-07-14 | 2021-07-09 | 视觉标记物 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11755854B2 (zh) |
CN (1) | CN116034372A (zh) |
WO (1) | WO2022015583A1 (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120256000A1 (en) * | 2011-04-06 | 2012-10-11 | Ronald Steven Cok | Decoding multi-resolution optical codes |
CN110494858A (zh) * | 2017-04-13 | 2019-11-22 | Nec平台株式会社 | 代码读取装置、方法和程序 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01292485A (ja) | 1988-05-19 | 1989-11-24 | Pioneer Electron Corp | 多重印刷バーコード方式 |
US6543691B1 (en) | 1995-01-03 | 2003-04-08 | Jerome H. Lemelson | Method and apparatus for encoding and decoding bar codes with primary and secondary information and method of using such bar codes |
US6631843B2 (en) | 2000-02-18 | 2003-10-14 | Symbol Technologies, Inc. | Composite code symbology |
US7185816B1 (en) * | 2000-05-04 | 2007-03-06 | Symbol Technologies, Inc. | Bar code and method of forming a bar code having color for encoding supplemental information |
US7229025B2 (en) | 2004-06-07 | 2007-06-12 | Pitney Bowes Inc. | Barcode with enhanced additional stored data |
US7264169B2 (en) * | 2004-08-02 | 2007-09-04 | Idx, Inc. | Coaligned bar codes and validation means |
CN101063999B (zh) | 2006-04-29 | 2010-09-15 | 银河联动信息技术(北京)有限公司 | 一种二维码与标识的合成系统及方法 |
US8668137B2 (en) | 2009-07-02 | 2014-03-11 | Barcode Graphics Inc. | Barcode systems having multiple viewing angles |
DE102012015695A1 (de) | 2012-07-31 | 2014-06-12 | Benjamin Sieben | Eingabe vom 31.07.2012: Redaktionelle Änderung für PU der Patentschrift: Abb. 1 aus Zusammenfassung entfernt (Then, 22.04.2014)Abruf von Informationen über QR-Codes. |
US8794537B2 (en) | 2012-08-30 | 2014-08-05 | International Business Machines Corporation | Additional encoding in conventional one-dimensional bar code symbologies |
US8794521B2 (en) * | 2012-10-04 | 2014-08-05 | Cognex Corporation | Systems and methods for operating symbology reader with multi-core processor |
US10691908B2 (en) | 2016-09-28 | 2020-06-23 | 3M Innovative Properties Company | Hierarchichal optical element sets for machine-read articles |
CN106778434A (zh) | 2016-11-25 | 2017-05-31 | 广州视源电子科技股份有限公司 | 一种在显示区域上动态调整二维码的方法及其装置 |
CN108253932A (zh) | 2016-12-29 | 2018-07-06 | 湖北工程学院 | 一种数字水准仪条码标尺的编码方法及装置 |
US10679024B2 (en) | 2018-07-24 | 2020-06-09 | Cognex Corporation | System and method for auto-focusing a vision system camera on barcodes |
-
2021
- 2021-06-17 US US17/350,515 patent/US11755854B2/en active Active
- 2021-07-09 CN CN202180055172.7A patent/CN116034372A/zh active Pending
- 2021-07-09 WO PCT/US2021/040993 patent/WO2022015583A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120256000A1 (en) * | 2011-04-06 | 2012-10-11 | Ronald Steven Cok | Decoding multi-resolution optical codes |
CN110494858A (zh) * | 2017-04-13 | 2019-11-22 | Nec平台株式会社 | 代码读取装置、方法和程序 |
Also Published As
Publication number | Publication date |
---|---|
WO2022015583A1 (en) | 2022-01-20 |
US20220019752A1 (en) | 2022-01-20 |
US11755854B2 (en) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102453169B1 (ko) | 디바이스가 이미지를 보정하는 방법 및 그 디바이스 | |
US11587297B2 (en) | Virtual content generation | |
US9354778B2 (en) | Smartphone-based methods and systems | |
US9484046B2 (en) | Smartphone-based methods and systems | |
US10796482B2 (en) | 3D hand shape and pose estimation | |
US11361493B2 (en) | Semantic texture mapping system | |
KR102257908B1 (ko) | 광학 바코드에 대한 맞춤형 기능 패턴들 | |
KR102010221B1 (ko) | 스마트폰 기반 방법들 및 시스템들 | |
JP6494039B2 (ja) | シグナルリッチアートに関する方法及びシステム | |
US9832353B2 (en) | Methods for encoding, decoding and interpreting auxiliary data in media signals | |
KR20220140673A (ko) | 디바이스가 이미지를 보정하는 방법 및 그 디바이스 | |
CN108604378A (zh) | 视频流的图像分割和修改 | |
KR102626290B1 (ko) | 증강 현실 안내 인터페이스 | |
US11335022B2 (en) | 3D reconstruction using wide-angle imaging devices | |
CN112074877A (zh) | 基于标记的增强现实系统和方法 | |
US11107255B2 (en) | Interactive augmented reality system | |
US10235596B2 (en) | System and method for transferring data using image code, outputting image code on display device, and decoding image code | |
US20220198762A1 (en) | Display system, display device, and program | |
US11842468B2 (en) | Synthesizing digital images utilizing image-guided model inversion of an image classifier | |
CN116034372A (zh) | 视觉标记物 | |
US20230297801A1 (en) | Visual marker | |
US11734527B1 (en) | Optimal matching of image portion data sets | |
US11915097B1 (en) | Visual marker with user selectable appearance | |
KR102670848B1 (ko) | 증강 현실 의인화 시스템 | |
CN112817437A (zh) | 用于可变用途的经着色视觉标记 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |