CN112602089A - 用于机器辨识的路径制品中的结构化纹理嵌入 - Google Patents
用于机器辨识的路径制品中的结构化纹理嵌入 Download PDFInfo
- Publication number
- CN112602089A CN112602089A CN201980054426.6A CN201980054426A CN112602089A CN 112602089 A CN112602089 A CN 112602089A CN 201980054426 A CN201980054426 A CN 201980054426A CN 112602089 A CN112602089 A CN 112602089A
- Authority
- CN
- China
- Prior art keywords
- structured texture
- structured
- vehicle
- computing device
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000037361 pathway Effects 0.000 title description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 76
- 239000000758 substrate Substances 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 106
- 238000004891 communication Methods 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 15
- 238000001429 visible spectrum Methods 0.000 claims description 13
- 239000007787 solid Substances 0.000 claims description 11
- 239000000976 ink Substances 0.000 claims description 10
- 238000002329 infrared spectrum Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000002211 ultraviolet spectrum Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 76
- 238000003860 storage Methods 0.000 description 44
- 238000010276 construction Methods 0.000 description 41
- 230000004888 barrier function Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 31
- 239000000463 material Substances 0.000 description 26
- 230000008859 change Effects 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 16
- 230000005855 radiation Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 14
- 238000012795 verification Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 11
- 239000000853 adhesive Substances 0.000 description 10
- 230000001070 adhesive effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 239000010408 film Substances 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000004820 Pressure-sensitive adhesive Substances 0.000 description 5
- 229910052782 aluminium Inorganic materials 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000975 dye Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000007639 printing Methods 0.000 description 5
- 239000012790 adhesive layer Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 239000013039 cover film Substances 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000012788 optical film Substances 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 238000007789 sealing Methods 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 239000004831 Hot glue Substances 0.000 description 2
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000009849 deactivation Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000009736 wetting Methods 0.000 description 2
- 241001465589 Antigastra catalaunalis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003570 air Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005234 chemical deposition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 238000007646 gravure printing Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000007641 inkjet printing Methods 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010147 laser engraving Methods 0.000 description 1
- 238000007648 laser printing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 150000002739 metals Chemical group 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010023 transfer printing Methods 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
在一些示例中,一种醒目带制品包括:回射基板;和结构化纹理元件(STE),该结构化纹理元件(STE)体现在回射基板上,其中结构化纹理元件的视觉外观是通过计算生成的,以与醒目带制品的自然环境场景的视觉外观区分开。
Description
技术领域
本申请整体涉及路径制品和可使用此类路径制品的系统。
背景技术
当前和下一代车辆可包括带有完全自动化引导系统的车辆、半自动化引导和完全手动车辆。半自动化车辆可包括带有高级驾驶员辅助系统(ADAS)的车辆,高级驾驶员辅助系统(ADAS)可被设计成辅助驾驶员避免事故。自动化和半自动化车辆可包括自适应特征,该自适应特征可使照明自动化、提供自适应巡航控制、使制动自动化、并入GPS/交通警告、连接到智能电话、警示驾驶员其他车辆或危险、将驾驶员保持在正确的车道中、示出盲点中的是什么以及其他特征。基础结构可通过包括帮助车辆更安全和有效地移动的系统(诸如安装传感器、通信设备和其他系统),变得越来越智能。在接下来的几十年内,手动、半自动化和自动化的所有类型的车辆可在相同的公路上操作,并且为了安全性和效率可需要协同和同步操作。
发明内容
一般来讲,本公开涉及用于机器辨识的回射制品中的结构化纹理嵌入(STE)。回射制品可用于各种车辆和路径应用中,诸如应用于车辆的醒目带和体现在车辆路径上的路面标记。例如,醒目带可应用于车辆,以便增强车辆对其他驾驶员、车辆和行人的可见度。通常,醒目带可包括纯色或交替条纹图案,以改善醒目带对人类的可见度。随着带有全自动化引导系统和半自动化引导系统的车辆在路径上变得越来越普遍,这些引导系统可依赖于各种感测模式(包括机器视觉)来辨识物体并且相应地作出反应。机器视觉系统可使用特征辨识技术(诸如尺度不变量特征变换(SIFT)和加速鲁棒特征(SURF))来识别场景中的物体和/或物体特征以用于车辆导航和车辆控制等操作。特征辨识技术可识别场景中的特征,然后用于基于所识别的特征来识别和/或分类物体。
因为车辆可在单个场景(例如,车辆在特定时间点操作的自然环境的图像)中有许多特征的自然环境中操作,所以特征辨识技术有时可能难以识别和/或分类场景中未与其他物体充分区分开的物体。换言之,在越来越复杂的场景中,特征辨识技术可能更难以以足够的置信度识别和/或分类物体以作出车辆导航和车辆控制决策。本公开的制品和技术可包括制品中的结构化纹理元件,诸如醒目带和路面标记,制品中的结构化纹理元件在使用特征辨识技术时改善对物体的识别和分类。本公开的技术可生成结构化纹理元件,该结构化纹理元件通过计算生成,以与使用包括结构化纹理元件的制品的自然环境中的特征或物体区分开,而不是使用可能不容易与自然环境中的其他物体区分开的人类构造设计(诸如用于改善人类可见度的纯色或纯色图案)。例如,本公开中的结构化纹理元件可为通过计算生成的视觉记号图案或其他布置,该视觉记号图案或其他布置被具体地和有意地生成以与使用包括结构化纹理元件的制品的自然环境中的其他特征或物体进行优化或最大区分。通过计算增加特定结构化纹理元件的视觉外观与自然环境场景(和/或其他结构化纹理元件)之间的相异量,特征辨识技术(诸如尺度不变量特征变换(SIFT)和加速鲁棒特征(SURF))可识别和/或分类包括结构化纹理元件的物体。这样,提高物体的识别和/或分类的置信度水平可改善车辆导航和车辆控制决策等其他可能的操作。改善车辆导航和车辆控制决策可改善车辆和/或行人安全性、燃料消耗和乘坐者舒适度。
在一些示例中,全自动化引导系统和半自动化引导系统可确定对应于结构化纹理元件中的特征布置的信息并且至少部分地基于对应于结构化纹理元件中的特征布置的信息来执行操作。例如,对应于结构化纹理元件中的特征布置的信息可指示附接到结构化纹理元件的物体是自主车辆车队的一部分。例如,指示自主车辆车队的结构化纹理元件可被包括在应用于自主车辆车队中的运输拖车的醒目带中。当特定车辆的全自动化引导系统或半自动化引导系统识别和分类结构化纹理元件(包括指示自主车辆车队的信息)时,特定车辆可以更高的置信度执行驾驶决策以超过或如若不然赶上自主车辆车队,因为指示特定车辆正在超过或赶上的物体的类型的信息对于引导系统是可用的。在其他示例中,物体的类型或物体的物理尺寸(例如,长度、宽度、深度)可作为信息被包括在结构化纹理元件中的特征布置中或与结构化纹理元件中的特征布置相关联。这样,全自动化引导系统和半自动化引导系统可依赖于结构化纹理元件来改善对自然场景中的物体的识别和/或分类的置信度水平,而且还使用来自结构化纹理元件的附加信息来作出车辆导航和车辆控制决策。
在一些示例中,系统包括:光捕获设备;计算设备,该计算设备通信地耦接到光捕获设备,其中计算设备被配置为:从光捕获设备接收回射光,该回射光指示体现在回射制品上的结构化纹理元件(结构化纹理元件),其中结构化纹理元件的视觉外观是通过计算生成的,以与醒目带制品的自然环境场景的视觉外观区分开;确定对应于结构化纹理元件中的特征布置的信息;并且至少部分地基于对应于结构化纹理元件中的特征布置的信息来执行至少一个操作。
在一些示例中,制品包括:回射基板;和结构化纹理元件(STE),该结构化纹理元件(STE)体现在回射基板上,其中结构化纹理元件的视觉外观是通过计算生成的,以与醒目带制品的自然环境场景的视觉外观区分开。
附图和以下描述中示出了本公开的一个或多个示例的细节。根据说明书和附图以及权利要求书,本公开的其他特征、目标和优点将显而易见。
附图说明
图1是示出根据本公开的带有被配置为由PAAV解释的增强的标志的示例性系统的框图。
图2是示出根据本公开的示例性计算设备的框图。
图3是根据本公开的路径制品的剖视图的概念图。
图4A和图4B示出了根据本公开的在回射片材上形成的部分制品消息的剖视图。
图5是示出了根据本公开的一个或多个方面的示例性计算设备的框图。
图6示出了根据本公开的可在回射制品处实现的结构化纹理嵌入。
图7A和图7B示出了根据本公开的如图7A所示的可见光谱和图7B中的IR光谱的候选图案。
图8示出了根据本公开的通过计算生成用于区分的结构化纹理元件。
图9A至图9B呈现了根据本公开的由计算设备执行的验证的样本输出。
图10是示出了根据本公开的可体现在带有结构化纹理元件的制品上的不同图案的框图。
具体实施方式
即使在自主驾驶技术中有进步,包括车辆道路的基础结构可具有很长的过渡期,在该很长的过渡期期间,完全PAAV、带有高级自动化驾驶员辅助系统(ADAS)的车辆和传统的完全人类操作的车辆共享公路。一些实际约束可使该过渡期长达几十年,诸如当前在公路上的车辆的使用寿命,投资于当前基础结构的资金和替换的成本,以及制造、分配和安装完全自主车辆和基础结构的时间。
自主车辆和可称为半自主车辆的ADAS可使用各种传感器来感知车辆周围的环境、基础结构和其他物体。与车载计算机处理组合的这些各种传感器可允许自动化系统感知复杂信息,并且比人类驾驶员更迅速地对复杂信息作出响应。在本公开中,车辆可包括任何具有或不具有传感器(诸如视觉系统)的车辆,以解释车辆路径。带有视觉系统或其他传感器的从车辆路径取得提示的车辆可被称为路径制品辅助车辆(PAAV)。PAAV的一些示例可包括上面提及的完全自主车辆和配备ADAS的车辆,以及无人驾驶飞行器(UAV)(又名无人机)、人类飞行运输设备、地下矿井采矿矿石运载车辆、叉车、工厂零件或工具运输车辆、船舶以及其他船只和类似车辆。车辆路径可为公路、高速公路、仓库走道、工厂车间或不与地球表面连接的路径。车辆路径可包括不限于路径本身的部分。在公路的示例中,路径可包括公路路肩、路径附近且一般涵盖路径或接近路径的物体/结构的任何其他特性或特征的物理结构,诸如收费站、铁路穿越装备、交通灯、山的侧面、护栏。这将在下面更详细地描述。
一般来讲,路径制品可以是体现、附接、使用或放置在路径处或附近的任何制品或物体。例如,路径制品可以被体现、附接、使用或放置在车辆、行人、微型移动性设备(例如,小轮摩托车、食物递送设备、无人机等)、路径表面、十字路口、建筑物或路径的其他区域或物体处或附近。路径制品的示例包括但不限于标志、路面标记、临时交通制品(例如,锥体、圆筒)、醒目带、车辆部件、人类服装、贴纸、或被体现、附接、使用、或放置在路径处或附近的任何其他物体。
路径制品(诸如标志)可包括路径制品的物理表面上的制品消息。在本公开中,制品消息可包括图像、图形、字符,诸如数字或字母或者字符、符号或非字符的任何组合。制品消息可包括结构化纹理元件或是结构化纹理元件。制品消息可包括人类可感知信息和机器可感知信息。人类可感知信息可包括指示车辆路径主要信息的一个或多个第一特点的信息,诸如通常旨在由人类驾驶员解释的信息。换言之,人类可感知信息可提供描述车辆路径的至少一部分的人类可感知的表示。如本文所述,人类可感知信息一般可指指示车辆路径的一般特点且旨在由人类驾驶员解释的信息。例如,人类可感知信息可包括字词(例如,“死路”等)、符号或图形(例如,指示前面道路包括急转弯的箭头)。人类可感知信息可包括制品消息的颜色或路径制品的其他特征,诸如边界或背景颜色。例如,一些背景颜色可仅指示信息,诸如“观景台(scenic overlook)”,而其他颜色可指示潜在危害。
在一些情况下,人类可感知信息可对应于包括在规范中的字词或图形。例如,在美国(U.S.),人类可感知信息可对应于包括在统一交通控制设备手册(MUTCD)中的字词或符号,该MUTCD由美国交通部(DOT)公布,并且包括许多常规道路标志的规范。其他国家对交通控制符号和设备具有类似的规范。在一些示例中,人类可感知信息可被称为主要信息。
在一些示例中,路径制品还包括可由PAAV解释的第二附加信息。如本文所述,第二信息或机器可感知信息一般可指车辆路径或相关联物体的附加详细特点。机器可感知信息被配置为由PAAV解释,但是在一些示例中,可由人类驾驶员解释。换言之,机器可感知信息可包括是图形符号的计算机可解释视觉特性的图形符号的特征。在一些示例中,机器可感知信息可与人类可感知信息相关,例如,为人类可感知信息提供附加上下文。在指示急转弯的箭头的示例中,人类可感知信息可为箭头的一般表示,而机器可感知信息可提供转弯的特定形状的指示,包括转弯半径、道路的任何倾斜、从标志到转弯的距离等。附加信息可对人类操作者可见;然而,附加信息可不易于能够由人类操作者解释,特别是在速度方面。在其他示例中,附加信息可不对人类操作者可见,但是可仍然是机器可读的,并且对PAAV的视觉系统可见。在一些示例中,增强的标志可被认为是光学活性制品。
在一些示例中,本公开的路径制品可包括冗余信息来源以验证输入,并且确保车辆作出适当的响应。本公开的技术可为智能基础结构提供带有优点的路径制品,因为此类制品可提供可由机器和人类解释的信息。这可允许验证自主系统和人类驾驶员在接收相同的消息。
对于部分和完全自主车辆基础结构,冗余和安全可值得关注。对自主基础结构的空白高速公路方法(即,在公路上没有标牌或标记且所有车辆由来自云的信息的控制的方法)可易受到黑客、恐怖主义的不良意图和无意的人为错误的影响。例如,GPS信号可被欺骗以干扰无人机和飞行器导航。本公开的技术提供从GPS和云所接收的信息的本地、车载冗余验证。本公开的路径制品可以可至少部分地由人类驾驶员察觉的方式,将附加信息提供到自主系统。因而,本公开的技术可提供可支持到完全自主基础结构的长期过渡的解决方案,因为其可首先在高影响区域中实施,并且当预算和技术允许时扩展到其他区域。
由此,本公开的路径制品可提供可由车辆的车载计算系统处理的附加信息、连同来自车辆上的其他传感器的解释车辆路径的信息。本公开的路径制品也可在诸如用于在仓库、工厂、机场、航路、水路、地下或矿井和类似位置操作的车辆的应用中具有优点。
图1是示出了根据本公开的技术的带有醒目带154的示例性系统100的框图,该醒目带可包括被配置为由PAAV解释的一个或多个结构化纹理元件156。如本文所述,PAAV一般是指带有视觉系统连同其他传感器的车辆,该车辆可解释车辆路径和车辆的环境,诸如其他车辆或物体。PAAV可解释来自视觉系统和其他传感器的信息,作出决策,并且采取动作以导航车辆路径。
如图1所示,系统100包括PAAV 110A,该PAAV可在车辆路径106上操作,并且包括图像捕获设备102A和102B以及计算设备116。任何数量的图像捕获设备都是可能的,并且可以从车辆以任何方向定位和取向,包括向后、向前和向车辆侧面。系统100的例示示例还包括如本公开所描述的一个或多个路径制品,诸如可包括一个或多个结构化纹理元件156的醒目带154。
如上面提到的,系统100的PAAV 110A可为自主或半自主车辆,诸如ADAS。在一些示例中,PAAV 110A可包括可采取对PAAV 110A的完全或部分控制的乘员。PAAV 110A可为被设计成运载乘客或货物的任何类型的车辆,包括小型电动车辆、带有拖车的大型卡车或货车、被设计成在地下矿山内运载压碎矿石的车辆、或类似类型的车辆。PAAV 110A可包括照明,诸如可见光谱中的前照灯以及其他光谱中的光源,诸如红外线。PAAV 110A可包括其他传感器,诸如用于感测车辆路径、附近的其他车辆、车辆周围的环境状况以及与基础结构的通信的目的的雷达、声纳、激光雷达、GPS和通信链路。例如,雨传感器可响应于降水量自动操作车辆风挡刮水器,并且也可将输入提供到车载计算设备116。
如图1所示,系统100的PAAV 110A可包括被统称为图像捕获设备102的图像捕获设备102A和102B。图像捕获设备102可将由一个或多个图像捕获传感器感测的光或电磁辐射转换成信息,诸如包括一组像素的数字图像或位图。其他设备(诸如激光雷达)可类似地用于本公开的制品和技术。在图1的示例中,每个像素可具有表示光或电磁辐射的强度和/或颜色的色度和/或亮度分量。一般来讲,图像捕获设备102可用于采集与路径有关的信息。图像捕获设备102可经由图像捕获部件102C将图像捕获信息发送到计算设备116。图像捕获设备102可捕获车道标记、中心线标记、道路边缘或路肩标记、其他车辆、行人、或路径106处或附近的物体、以及车辆路径的一般形状。车辆路径的一般形状可包括转弯、弯曲、倾斜、下降、加宽、变窄或其他特征。图像捕获设备102可具有固定视场,或者可具有可调节视场。具有可调节视场的图像捕获设备可被配置为相对于PAAV 110A左右、上下遥摄,以及能够使焦距加宽或变窄。在一些示例中,图像捕获设备102可包括第一透镜和第二透镜和/或第一光源和第二光源,使得可使用不同的光波长光谱来捕获图像。
图像捕获设备102可包括一个或多个图像捕获传感器和一个或多个光源。在一些示例中,图像捕获设备102可包括在单个集成设备中的图像捕获传感器和光源。在其他示例中,图像捕获传感器或光源可与图像捕获设备102分离或以其他方式不集成在图像捕获设备102中。如上所述,PAAV 110A可包括与图像捕获设备102分离的光源。图像捕获设备102内的图像捕获传感器的示例可包括互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、Live MOS)技术中的半导体电荷耦接设备(CCD)或有源像素传感器。数字传感器包括平板检测器。在一个示例中,图像捕获设备102包括用于检测两个不同波长光谱中的光的至少两个不同的传感器。
在一些示例中,一个或多个光源104包括第一辐射源和第二辐射源。在一些实施方案中,第一辐射源在可见光谱中发射辐射,并且第二辐射源在近红外光谱中发射辐射。在其他实施方案中,第一辐射源和第二辐射源在近红外光谱中发射辐射。如图1所示,一个或多个光源104可在近红外光谱中发射辐射。
在一些示例中,图像捕获设备102以50帧/秒(fps)捕获帧。帧捕获速率的其他示例包括60fps、30fps和25fps。对于本领域的技术人员显而易见的是,帧捕获速率取决于应用,并且可以使用不同的速率,例如100fps或200fps。影响所需帧速率的因素为例如视场的大小(例如,较低的帧速率可用于较大的视场,但是可限制焦深)和车辆速度(较高的速度可需要较高的帧速率)。
在一些示例中,图像捕获设备102可包括至少多于一个信道。信道可以为光学信道。两个光学信道可以穿过一个透镜到单个传感器上。在一些示例中,图像捕获设备102在每个信道上包括至少一个传感器、一个透镜和一个带通滤波器。带通滤波器允许由单个传感器接收到多个近红外波长的传输。至少两个信道可以通过以下之一进行区分:(a)带宽(例如,窄带或宽带,其中窄带照明可以为从可见光到近红外的任何波长)。(b)不同的波长(例如,可使用不同波长处的窄带处理来增强感兴趣的特征,诸如例如本公开的增强的标志,同时抑制其他特征(例如,其他物体、太阳光、前照灯);(c)波长区域(例如,可见光谱中并且用于彩色或单色传感器的宽带光);(d)传感器类型或特点;(e)曝光时间;以及(f)光学部件(例如,透镜)。
在一些示例中,图像捕获设备102A和102B可包括可调焦距功能。例如,图像捕获设备102B可具有沿车辆路径106的长度捕获图像的宽聚焦场,如图1的示例中所示。计算设备116可控制图像捕获设备102A,以偏移到车辆路径106的一侧或另一侧,并且使焦距变窄,以捕获增强的标志108的图像或沿车辆路径106的其他特征。可调焦距可为物理的,诸如调节透镜焦距,或者可为数字的,类似于在桌面会议相机上发现的面部聚焦功能。在图1的示例中,图像捕获设备102可经由图像捕获部件102C通信地耦合到计算设备116。图像捕获部件102C可从多个图像捕获设备诸如图像捕获设备102接收图像信息,执行图像处理(诸如滤波、放大等),并且将图像信息发送到计算设备116。
可与计算设备116通信的PAAV 110A的其他部件可包括上述图像捕获部件102C、移动设备接口104和通信单元214。在一些示例中,图像捕获部件102C、移动设备接口104和通信单元214可与计算设备116分离,并且在其他示例中,可为计算设备116的部件。
移动设备接口104可包括到智能电话、平板计算机、膝上型计算机或类似设备的有线连接或无线连接。在一些示例中,计算设备116可经由移动设备接口104进行通信,用于多种目的诸如接收交通信息、期望目的地的地址或其他目的。在一些示例中,计算设备116可经由移动设备接口104与外部网络114(例如,云)通信。在其他示例中,计算设备116可经由通信单元214进行通信。
计算设备116的一个或多个通信单元214可通过传输和/或接收数据与外部设备进行通信。例如,计算设备116可使用通信单元214在无线电网络(诸如蜂窝无线电网络)或其他网络(诸如网络114)上传输和/或接收无线电信号。在一些示例中,通信单元214可将消息和信息传输到其他车辆且接收消息和信息,诸如从增强的标志108解释的信息。在一些示例中,通信单元214可在卫星网络(诸如全球定位系统(GPS)网络)上传输和/或接收卫星信号。
在图1的示例中,计算设备116包括车辆控制部件144和用户界面(UI)部件124以及解释部件118。部件118、部件144和部件124可使用软件、硬件、固件或硬件、软件和固件的混合实行本文所述的操作,软件、硬件、固件或硬件、软件和固件的混合驻留在计算设备116上和/或一个或多个其他远程计算设备处,并且在计算设备116上和/或在一个或多个其他远程计算设备处执行。在一些示例中,部件118、部件144和部件124可被实施为硬件、软件和/或硬件和软件的组合。
计算设备116可用一个或多个处理器来执行部件118、部件124、部件144。计算设备116可执行作为在底层硬件上执行的虚拟机器或在该虚拟机器内的部件118、部件124、部件144中的任一者。部件118、部件124、部件144可以各种方式来实施。例如,部件118、部件124、部件144中的任一者可被实施为可下载或预安装的应用或“app.”。在另一示例中,部件118、部件124、部件144中的任一者可被实施为计算设备116的操作系统的一部分。计算设备116可包括来自图1中未示出的传感器的输入,传感器可为诸如发动机温度传感器、速度传感器、轮胎压力传感器、空气温度传感器、倾斜仪、加速度计、光传感器和类似的感测部件。
UI部件124可包括用于与PAAV 110A的用户进行通信的任何硬件或软件。在一些示例中,UI部件124包括到用户的输出,诸如显示器(诸如显示屏、指示符或其他灯)、用于生成通知或其他可听功能的音频设备。UI部件24也可包括输入,诸如旋钮、开关、键盘、触摸屏或类似类型的输入设备。
车辆控制部件144可包括例如可调节车辆的一个或多个功能的任何电路或其他硬件或软件。一些示例包括调节以改变车辆的速度,改变前照灯的状态,改变车辆的悬架系统的阻尼系数,将力施加到车辆的转向系统或改变来自其他传感器的一个或多个输入的解释。例如,IR捕获设备可确定车辆路径附近的物体具有体热,并且将把可见光谱图像捕获设备的解释从为非移动结构的物体改变为可移动到路径中的可能的大型动物。由于这些改变,车辆控制部件144还可控制车辆速度。在一些示例中,计算设备基于机器可感知信息结合人类操作者来启动对PAAV的一个或多个功能的所确定的调节,人类操作者基于人类可感知信息来变更PAAV的一个或多个功能。
解释部件118可接收关于车辆路径106的基础结构信息并且确定车辆路径106的一个或多个特点,不仅包括路径106,而且还包括路径106处或附近的物体,诸如但不限于其他车辆、行人或物体。例如,解释部件118可从图像捕获设备102接收图像,并且/或者从PAAV110A的系统接收其他信息,以便作出关于车辆路径106的特点的确定。出于本公开的目的,关于车辆路径106的确定的提及可包括关于车辆路径106和/或路径106处或附近的物体(诸如但不限于其他车辆、行人或物体)的确定。如下所述,在一些示例中,解释部件118可将此类确定传输到车辆控制部件144,该车辆控制部件可基于从解释部件接收的信息来控制PAAV 110A。在其他示例中,计算设备116可使用来自解释部件118的信息来为PAAV 110A的用户生成通知,例如指示车辆路径106的特点或状况的通知。
增强的标志108和醒目带154仅表示路径制品的一些示例并且可包括施加到基部表面的反射片材、非反射片材和/或回射片材。制品消息(诸如但不限于字符、图像和/或任何其他信息)或视觉记号可被印刷、形成或以其他方式体现在增强的标志108和/或醒目带154上。可以使用下述一种或多种技术和/或材料将反射片材、非反射片材和/或回射片材施加到基部表面,包括但不限于:机械结合、热粘合、化学粘合或用于将回射片材附接到基部表面的任何其他合适的技术。基部表面可以包括可以附接反射片材、非反射片材和/或回射片材的物体(如上所述,例如铝板)的任何表面。可以使用墨、染料、热转印条带、着色剂、颜料和/或粘合剂涂覆膜中的任何一种或多种将制品消息印刷、形成或以其他方式体现在片材上。在一些示例中,内容由下述各项形成或包括下述各项:多层光学膜;包括光学活性颜料或染料的材料;或者光学活性颜料或染料。
图1中的增强的标志108包括制品消息126A-126F(统称为“制品消息126”)。制品消息126可包括提供关于车辆路径的一个或多个特点的信息的多个部件或特征。制品消息126可包括指示关于车辆路径106的一般信息的主要信息(本文中可互换地称为人类可感知信息)。制品消息126可包括可被配置为由PAAV解释的附加信息(本文中可互换地称为机器可感知信息)。类似的制品消息可被包括在醒目带154或其他路径制品上。
在图1的示例中,制品消息126的一个部件包括箭头126A,一种图形符号。箭头126A的一般轮廓可表示描述车辆路径106的特点的主要信息,诸如即将发生的曲线。例如,特征箭头126A可包括箭头126A的一般轮廓,并且可由PAAV 110A的人类操作者以及PAAV 110A上的计算设备116来解释。
在一些示例中,制品消息126可包括机器可读基准标记126C。基准标记也可被称为基准标签。基准标签126C可表示关于路径106的特点的附加信息,诸如由箭头126A指示的即将发生的曲线的半径或箭头126A的形状的比例因子。在一些示例中,基准标签126C可向计算设备116指示增强的标志108是增强的标志而不是常规标志。在其他示例中,基准标签126C可充当指示增强的标志108不是伪造的安全元件。类似的制品机器可读基准标记可被包括在醒目带154或其他路径制品上。
在其他示例中,制品消息126的其他部分可向计算设备116指示路径制品是增强的标志。例如,根据本公开的方面,制品消息126可包括区域126F中的偏振的改变。在该示例中,计算设备116可识别偏振的改变,并且确定制品消息126包括关于车辆路径106的附加信息。类似的部分可被包括在醒目带154或其他路径制品上。
根据本公开的技术,增强的标志108还包括制品消息部件,诸如与基准标签126C分离的一个或多个安全元件126E。在一些示例中,安全元件126E可为被印刷、形成或以其他方式体现在增强的标志108上的制品消息126的任何部分,其促进伪造路径制品的检测。类似的安全元件可被包括在醒目带154或其他路径制品上。
增强的标志108也可包括表示车辆路径106的特点的附加信息,该附加信息可被印刷或以其他方式设置在不干扰图形符号(诸如箭头126A)的位置中。例如,边界信息126D可包括附加信息,诸如左右曲线的数量、每条曲线的半径和每条曲线之间的距离。图1的示例描绘如沿增强的标志108的顶部边界的边界信息126D。在其他示例中,边界信息126D可沿部分边界或沿两个或更多个边界放置。类似的边界信息可被包括在醒目带154或其他路径制品上。
类似地,增强的标志108可包括制品消息126的部件,该部件通过放置附加机器可读信息而不干扰图形符号,所以其能够在可见光谱之外(诸如区域126F)检测。如上面关于基准标签126C所述,增厚部分126B、边界信息126D、区域126F可包括关于车辆路径106的附加特点的详细信息或任何其他信息。类似的信息可被包括在醒目带154或其他路径制品上。
如上面针对区域126F所述,制品消息126的一些部件仅能够在可见光谱之外检测。这可具有避免干扰人操作者解释增强的标志108的优点,从而提供附加的安全。制品消息126的不可见部件可包括区域126F、安全元件126E和基准标签126C。
为了说明的目的,图1中的不可见部件被描述为由回射光或不回射光的不同区域形成,图1中的不可见部件可使用任何光反射技术印刷、形成或以其他方式体现在路径制品中,其中可从不可见部件确定信息。例如,可使用可见不透明的红外透明油墨和/或可见不透明的红外不透明油墨来印刷不可见部件。在一些示例中,可通过采用偏振技术(诸如右圆形偏振、左圆形偏振或类似技术)将不可见部件放置在增强的标志108、醒目带154或其他路径制品上。
根据本公开的方面,在操作中,解释部件118可经由图像捕获部件102C接收增强的标志108和/或醒目带154的图像,并且解释图像的信息。例如,解释部件118可解释基准标签126C,并且确定(a)增强的标志108包含附加机器可读信息,并且(b)确定增强的标志108不是伪造的。解释部件118可在醒目带154中识别和/或分类结构化纹理元件156。如本公开中另外描述的,解释部件118可确定对应于结构化纹理元件156的信息,计算设备116和/或134可使用该信息来执行进一步的操作,诸如车辆操作和/或分析。
解释单元118可从主要信息以及附加信息确定车辆路径106的一个或多个特点。换言之,解释单元118可从路径制品上的人类可感知信息确定车辆路径的第一特点,并且从机器可感知信息确定第二特点。例如,解释单元118可通过解释箭头126A的形状来确定物理特性,诸如车辆路径106中即将发生的一组曲线的近似形状。限定即将发生的一组曲线的近似形状的箭头126A的形状可被认为是主要信息。箭头126A的形状也可由PAAV110A的人类乘员解释。
解释部件118也可通过解释制品消息126的其他机器可读部分或醒目带154的结构化纹理元件154来确定车辆路径106的附加特点。例如,通过解释边界信息126D和/或区域126F,解释部件118可确定车辆路径106包括倾斜连同一组曲线。解释部件118可发信号通知计算设备116,这可致使车辆控制部件144准备增加功率以保持加速倾斜。来自制品消息126的附加信息可致使对PAAV 110A的一个或多个功能的附加调节。解释部件118可确定其他特点,诸如来自结构化纹理元件156的车辆的类型或公路表面的改变。计算设备116可确定这些特点需要对车辆悬架设定的改变,并且致使车辆控制部件144执行悬架设定调节。在一些示例中,解释部件118可接收关于车道标记与PAAV 110A的相对位置的信息,并且将信号发送到计算设备116,该信号致使车辆控制部件144将力施加到转向以使PAAV 110A居中在车道标记之间。解释部件118确定车辆路径106的特点并且改变计算设备116和/或车辆104A的操作的许多其他示例是可能的。
本公开的路径制品仅是计算设备116或人类操作者在操作车辆时可以考虑的一条附加信息。其他信息可包括来自其他传感器(诸如雷达或超声波距离传感器、激光雷达传感器)的信息、与其他车辆的无线通信、从图像捕获设备102捕获的车辆路径上的车道标记、来自GPS的信息等。计算设备116可考虑各种输入(p),并且把带有加权值的每个输入(诸如,在决策公式中)认为本地信息以改善决策过程。一种可能的决策公式可包括:
D=w1*p1+w2*p2+..wn*pn+wES*pES
其中权重(w1–wn)可为从增强的标志(pES)接收的信息的函数。在施工区的示例中,增强的标志可指示从施工区的车道偏移。因而,计算设备116当在施工区中操作车辆时,可使来自车道标记检测系统的信号降低优先级。
在一些示例中,PAAV 110A可为测试车辆,该测试车辆可确定车辆路径106的一个或多个特点,并且可包括附加传感器以及用于与构造设备诸如构造设备138通信的部件。作为测试车辆,PAAV 110A可为自主的、远程控制的、半自主的或手动控制的。一个示例性应用可为确定在施工区附近的车辆路径106中的改变。一旦施工区工人用屏障、交通锥或类似标记(其中任一个均可包括结构化纹理元件)来标记改变,PAAV 110A就可横穿所改变的路径,以确定路径的特点。一些示例可包括车道偏移、封闭的车道、绕道到另选的路线和类似的改变。测试设备上的计算设备(诸如PAAV 110A上的计算设备116)可将车辆路径的特点组装到包含车辆路径的特点或属性的数据中。
计算设备134可表示除计算设备116之外的一个或多个计算设备。在一些示例中,计算设备134可以彼此通信地耦接或可以不彼此通信地耦接。在一些示例中,计算设备134中的一个或多个计算设备可以通信地耦接到计算设备116或可以不通信地耦接到计算设备116。计算设备134可根据该系统的技术和制品在系统100中执行一个或多个操作。例如,计算设备134可生成和/或选择如本公开中所描述的一个或多个结构化纹理元件,诸如在图8和本公开的其他方面中描述的。计算设备134可发送指示能够由计算设备116和/或车辆110A使用的一个或多个操作、规则或其他数据的信息。例如,操作、规则或其他数据可指示车辆操作、交通状况或特点或者路径状况或特点、与路径相关联的物体、其他车辆或行人信息、或能够由计算设备116和/或车辆110A使用的任何其他信息。
为了设计和制作可包括结构化纹理元件的路径制品,计算设备134可接收限定路径制品(诸如增强的标志108和/或醒目带154)的一个或多个特性的印刷规范。例如,计算设备134可从美国DOT接收包括在MUTCD中的印刷规范信息,或存在于其他国家中的类似的监管信息,该类似的监管信息限定对用于车辆路径上的路径制品的大小、颜色、形状和其他特性的要求。印刷规范也可包括制造屏障层的特性、回射特性和可用于生成路径制品的其他信息。印刷规范还可包括描述结构化纹理元件的数据,包括结构化纹理元件的视觉外观和/或与结构化纹理元件相关联的信息。机器可感知信息也可包括机器可感知信息的准确度的置信度水平。例如,由无人机规划的路径可不像由测试车辆规划的路径那样准确。因而,曲率半径的尺寸例如可基于数据的来源具有不同的置信度水平。置信度水平可影响上面描述的决策公式的加权。
计算设备134可生成构造数据以在光学活性设备上形成制品消息,这将在下面更详细地描述。构造数据可为印刷规范和车辆路径的特点的组合。由计算设备134生成的构造数据可致使构造设备138根据印刷规范和指示车辆路径的至少一个特点的数据将制品消息设置在基板上。
在图1的示例中,PAAV 110可在自然环境中操作,该自然环境包括路径106和各种其他物体,诸如其他车辆、行人、路径制品、建筑物、景观等。机器辨识可由计算设备116用于车辆导航、车辆控制和其他操作。系统100可使用用于机器辨识的回射制品中的结构化纹理嵌入(STE)。如上所述,回射制品可用于各种车辆和路径应用中,诸如应用于车辆的醒目带和体现在车辆路径上的路面标记。例如,醒目带可应用于车辆,以便增强车辆对其他驾驶员、车辆和行人的可见度。通常,醒目带可包括纯色或交替条纹图案,以改善醒目带对人类的可见度。随着带有全自动化引导系统和半自动化引导系统的车辆(诸如PAAV 110)在路径上变得越来越普遍,这些引导系统可依赖于各种感测模式(包括机器视觉)来辨识物体并且相应地作出反应。计算设备116的机器视觉系统可使用特征辨识技术(诸如尺度不变量特征变换(SIFT)和加速鲁棒特征(SURF))来识别场景中的物体和/或物体特征以用于车辆导航和车辆控制等操作。特征辨识技术可识别场景中的特征,然后用于基于所识别的特征来识别和/或分类物体。
因为车辆可在单个场景(例如,车辆在特定时间点操作的自然环境的图像)中的具有许多特征的自然环境中操作,所以特征辨识技术有时可能难以识别和/或分类场景中未与其他物体充分区分开的物体。换言之,在越来越复杂的场景中,特征辨识技术可能更难以以足够的置信度识别和/或分类物体,以作出车辆导航和车辆控制决策。本公开的制品和技术可包括制品中的结构化纹理元件(诸如结构化纹理元件156),诸如醒目带和路面标记,其在使用特征辨识技术时改善对物体的识别和分类。本公开的技术可生成结构化纹理元件(诸如结构化纹理元件156),该结构化纹理元件通过计算生成,以与使用包括结构化纹理元件的制品的自然环境中的特征或物体区分开,而不是使用可能不容易与自然环境中的其他物体区分开的人类构造设计(诸如用于改善人类可见度的纯色或纯色图案)。例如,本公开中的结构化纹理元件可为通过计算设备134中的一个或多个计算设备计算生成的视觉记号图案或其他布置,该视觉记号图案或其他布置被具体地和有意地生成以与使用包括结构化纹理元件的制品的自然环境中的其他特征或物体进行优化或最大区分。通过计算增加特定结构化纹理元件的视觉外观与自然环境场景(和/或其他结构化纹理元件)之间的相异性的量,特征辨识技术(诸如尺度不变量特征变换(SIFT)和加速鲁棒特征(SURF))可识别和/或分类包括结构化纹理元件的物体。这样,提高物体的识别和/或分类的置信度水平可改善车辆导航和车辆控制决策等其他可能的操作。改善车辆导航和车辆控制决策可改善车辆和/或行人安全性、燃料消耗和乘坐者舒适度。
在一些示例中,全自动化引导系统和半自动化引导系统(诸如在计算设备116中实现的)可确定对应于结构化纹理元件中的特征布置的信息并且至少部分地基于对应于结构化纹理元件中的特征布置的信息来执行操作。例如,对应于结构化纹理元件中的特征布置的信息可指示附接到结构化纹理元件的物体(例如,PAAV 110B)是自主车辆。例如,指示自主车辆的结构化纹理元件可被包括在应用于PAAV 110B的醒目带154中。当PAAV 110A的全自动化引导系统或半自动化引导系统识别和分类结构化纹理元件156(包括指示自主车辆PAAV 110B的信息)时,PAAV 110A的计算设备116可以更高的置信度执行驾驶决策以超过或以其他方式赶上PAAV 110B,因为指示PAAV 110A正在超过或赶上的物体的类型的信息对于引导系统是可用的。在其他示例中,物体的类型或物体的物理尺寸(例如,长度、宽度、深度)可作为信息被包括在结构化纹理元件中的特征布置中或与结构化纹理元件中的特征布置相关联。这样,全自动化引导系统和半自动化引导系统可依赖于结构化纹理元件来改善对自然场景中的物体的识别和/或分类的置信度水平,而且还使用来自结构化纹理元件的附加信息来作出车辆导航和车辆控制决策。
如图1所示,路径106可包括路面标记150。PAAV 110B可包括醒目带154。路面标记150可包括一个或多个结构化纹理元件152。醒目带154可包括一个或多个结构化纹理元件156。路径制品108可包括一个或多个结构化纹理元件。PAAV 110A可捕获结构化纹理元件152、结构化纹理元件154、结构化纹理元件156的图像。计算设备116可识别结构化纹理嵌入并且基于该结构化纹理嵌入来执行一个或多个操作。例如,计算设备116可基于结构化纹理元件的类型来确定车辆类型。在一些示例中,计算设备116可确定结构化纹理元件图案的类型指示与结构化纹理元件图案附接的车辆是车辆车队的一部分,其中一组车辆中的一个车辆控制或影响该组中的所有车辆的操作。在一些示例中,计算设备116可基于路面标记中的结构化纹理元件来确定自主驾驶的允许水平。
根据本公开的技术,制品(诸如醒目带156)可包括:回射基板;和体现在回射基板上的结构化纹理元件。结构化纹理元件的视觉外观可通过计算生成,以与制品的自然环境场景的视觉外观区分开。如图1所述,制品可以是任何路径制品或其他物理物体。在本公开中(诸如在图8中)描述了用于通过计算生成结构化纹理元件以与自然环境场景和/或其他结构化纹理元件的外观区分开的技术。例如,计算设备134可生成一个或多个结构化纹理元件,其中结构化纹理元件的视觉外观是通过计算生成的,以与醒目带制品的自然环境场景和/或一个或多个其他结构化纹理元件的视觉外观区分开来。视觉外观可为一个或多个视觉特征、特点或特性。视觉特征、特点或特性的示例可包括但不限于:形状;颜色:曲线;点;分段;图案;亮度;特定光波长光谱中的可见度;任何特征、特点或特性的大小;或任何特征、特点或特性的宽度或长度。
计算设备134可以重复图案或非重复布置方式通过计算生成或选择具有一个或多个特征、特点或特性的结构化纹理元件中的一个或多个结构化纹理元件。为了通过计算生成结构化纹理元件以与自然环境场景和/或其他结构化纹理元件的视觉外观区分开,计算设备134可生成或选择一个或多个结构化纹理元件。计算设备134可将特征辨识技术(诸如关键点提取或其他合适的技术)应用于一组图像或视频。基于匹配特定结构化纹理元件的检测元件的置信度水平或量,计算设备134可将该特定结构化纹理元件与(a)包括该特定结构化纹理元件的自然场景和/或(b)一个或多个其他结构化纹理元件中的一者或多者之间的区分程度的得分或其他指示符相关联。检测元件可以是图像的任何特征或记号,并且可包括SIFT技术中的关键点或卷积神经网络技术的特征图中的特征,仅举几个示例。这样,计算设备134可选择或生成多个不同的结构化纹理元件并且模拟哪些结构化纹理元件将更容易与自然场景和/或其他结构化纹理元件区分开来。在一些示例中,特定结构化纹理元件与(a)包括特定结构化纹理元件的自然场景和/或(b)一个或多个其他结构化纹理元件之间的区分可基于特定结构化纹理元件与(a)包括特定结构化纹理元件的自然场景和/或(b)一个或多个其他结构化纹理元件之间的视觉相似性或视觉差异的程度。视觉相似性的程度可基于像素值的差异、图像内的块或其他合适的图像比较技术。
在一些示例中,计算设备134可生成用于特定结构化纹理元件的反馈数据,该反馈数据包括但不限于:指示特定结构化纹理元件是否满足区分阈值的数据、特定结构化纹理元件的区分程度、特定结构化纹理元件的标识符、自然场景的标识符、另一结构化纹理元件的标识符或能够由计算设备134用来生成一个或多个结构化纹理元件的任何其他信息。计算设备134可使用反馈数据来改变所生成的一个或多个新结构化纹理元件的视觉外观,使得该一个或多个新结构化纹理元件与其他先前模拟的结构化纹理元件具有更大的可区分性。计算设备134可使用反馈数据来更改一个或多个新结构化纹理元件的视觉外观,使得该新结构化纹理元件与先前模拟的结构化纹理元件之间的视觉差异增加。这样,可生成与自然场景和/或其他结构化纹理元件具有更大量或更大程度的视觉区分的结构化纹理元件。
在一些示例中,自然环境场景是由图像捕获设备生成的图像、一组图像或视场。自然环境场景可以是实际物理自然环境或模拟环境的图像。自然环境场景可以是路径和/或其周围环境、场景或状况的图像。例如,自然环境场景可以是具有建筑物、人行道、路径和相关联物体(例如,车辆、行人、路径制品,仅举几个示例)的城市环境的图像。另一个自然环境场景可以是具有护栏、周围田野、路径路肩区域和相关联物体(例如,车辆、行人、路径制品,仅举几个示例)的高速公路或高速路的图像。自然环境场景的任何数量和变型都是可能的。通常,在一些情况下,计算设备可能难以从自然环境场景中的其他物体或特征中识别或辨别路径制品。通过计算生成和包括被生成以与自然环境场景的视觉外观区分开的结构化纹理元件,本公开的技术可改善机器辨识系统识别制品并且在一些示例中基于对制品的辨识来执行操作的能力。
在一些示例中,第一结构化纹理元件和第二结构化纹理元件被包括在一组结构化纹理元件中。尽管各种示例可提及“第一”结构化纹理元件和“第二”结构化纹理元件,但可使用任何数量的结构化纹理元件。在该组结构化纹理元件中包括的每个相应结构化纹理元件是通过计算生成的,以与该组结构化纹理元件中的每个其他结构化纹理元件区分开。这样,结构化纹理元件可通过机器辨识系统更容易彼此区分开。在一些示例中,在该组结构化纹理元件中包括的每个相应结构化纹理元件是通过计算生成的,以与自然环境场景和该组结构化纹理元件中的每个其他结构化纹理元件区分开。这样,结构化纹理元件可通过机器辨识系统更容易彼此区分开并且与自然环境场景区分开。在一些示例中,第一结构化纹理元件和第二结构化纹理元件是通过计算生成的,以与彼此区分开,从而满足阈值区分量。该阈值区分量可以是最大区分量。阈值区分量可以是用户配置的或机器生成的。最大区分量可以是第一结构化纹理元件的视觉外观与第二结构化纹理元件的视觉外观之间的最大相异量。
在一些示例中,第一结构化纹理元件可通过计算生成(例如,通过计算设备134)以根据第一图像产生第一组关键点,并且第二结构化纹理元件可通过计算生成以根据第二图像产生第二组关键点。第一结构化纹理元件和第二结构化纹理元件是通过计算生成的,以将第一组关键点与第二组关键点区分开。关键点可表示、对应于或识别存在于特定结构化纹理元件中的视觉特征。第一组关键点可通过计算生成,以与第二组关键点区分开,从而满足阈值区分量。该阈值区分量可以是最大区分量。
在一些示例中,路径制品(诸如醒目带156)可包括一个或多个图案。结构化纹理元件可为第一图案。路径制品可包括作为密封图案的第二图案。密封图案可限定路径制品的一个或多个密封区域,诸如在图10中所示。在一些示例中,结构化纹理元件可为第一图案,并且路径制品可包括第二图案,该第二图案为制品上的不同于第一图案的一种或多种油墨的印刷图案。在一些示例中,一种或多种油墨的印刷图案可为纯色图案。在一些示例中,结构化纹理元件在约350nm至750nm的光谱范围内是可见的。在一些示例中,结构化纹理元件在约350nm至750nm之外的至少一个光谱范围内是可见的。在一些示例中,结构化纹理元件在约350nm至750nm之外的至少一个光谱范围内是可见的。在一些示例中,结构化纹理元件在约700nm至1100nm的光谱范围内是可见的。在一些示例中,“约”可意指范围界限的+/-10nm、15nm或50nm。在一些示例中,“约”可意指范围边界的+/-1%、5%或10%。
在一些示例中,结构化纹理元件能够配置有描述对应于制品的物品的信息。例如,信息可被编码在结构化纹理元件内。该信息可识别或表征物体,诸如本公开的各种示例中所描述的(例如,车辆类型、物体特性等)。在一些示例中,描述对应于制品的物体的信息可与结构化纹理元件相关联。例如,计算设备可存储指示结构化纹理元件与描述物体的信息之间的关联的数据。如果特定结构化纹理嵌入被识别或选择,则描述物体的相关联信息可在进一步的操作中被检索、传输或进行其他处理。在一些示例中,描述物体的信息指示车辆车队中的物体。在一些示例中,描述物体的信息指示自主车辆。
尽管上文已描述了若干示例,但可响应于识别结构化纹理元件来执行任何数量的操作。在一些示例中,描述物体的信息指示针对自主车辆配置的信息。在一些示例中,描述物体的信息指示物体的大小或类型中的至少一者。在一些示例中,物体是车辆或与车辆相关联的第二物体中的至少一者。在一些示例中,描述物体的信息包括与物体相关联的标识符。在一些示例中,醒目带制品附接到对应于醒目带制品的物体。
本公开还描述了用于识别和使用结构纹理嵌入的系统和技术。例如,图1示出了包括光捕获设备的系统,诸如图像捕获部件102C和通信地耦接到图像捕获部件102C的计算设备116。计算设备116可从图像捕获部件102C接收回射光,该回射光指示体现在回射制品上的结构化纹理元件(例如,在醒目带154中),其中结构化纹理元件的视觉外观是通过计算生成的,以与包括制品的自然环境场景的视觉外观区分开。计算设备116可确定对应于结构化纹理元件中的特征布置的信息。在本公开中描述了此类信息的示例(例如,车辆类型、物体特性等)。计算设备116可至少部分地基于对应于结构化纹理元件中的特征布置的信息来执行一个或多个操作。结构化纹理元件中的特征布置可包括一个或多个视觉特征、特点或特性的重复图案或非重复布置。
在一些示例中,为了执行至少部分地基于对应于结构化纹理元件中的特征布置的信息的至少一个操作,计算设备116可被配置为为包括该计算设备的车辆选择自主驾驶水平。在一些示例中,为了执行至少部分地基于对应于结构化纹理元件中的特征布置的信息的至少一个操作,计算设备116可被配置为改变或发起车辆110A的一个或多个操作。车辆操作可包括但不限于:生成视觉/可听/触觉输出、制动功能、加速度功能、转弯功能、车辆到车辆和/或车辆到基础结构和/或车辆到行人的通信或任何其他操作。
尽管出于示例的目的在本公开中使用了SIFT,但也可根据本公开的技术使用其他特征辨识技术,该其他特征辨识技术包括监督和无监督学习技术,诸如神经网络和深度学习,仅举几个非限制性示例。在此类示例中,计算设备可将表示结构化纹理元件的视觉外观的图像数据应用于模型,并且至少部分地基于将图像数据应用于模型来生成指示该结构化纹理元件的信息。例如,该模型可基于图像数据来对特定结构化纹理元件进行分类或以其他方式识别特定结构化纹理元件。在一些示例中,模型已至少部分地基于包括结构化纹理元件的一个或多个训练图像来进行训练。模型可基于监督、半监督或无监督技术中的至少一者来进行配置。示例性技术可包括在以下文献中描述的深度学习技术:(a)M.Sornam等人发表在2017年第九届国际先进计算会议(ICoAC)第121-126页的“使用深度卷积神经网络架构对图像分类和活动辨识的调查(A Survey on Image Classification and ActivityRecognition using Deep Convolutional Neural Network Architecture)”;(b)Zeiler等人于2013年11月28日发表的“可视化和理解卷积网络(Visualizing and UnderstandingConvolutional Networks)”,arXiv:1311.2901v3[cs.CV];(c)Antalya、Turkey、Albawi等人发表在2017年工程和技术国际会议(ICET2017)的“理解卷积神经网络(Understandingof a Convolutional Neural Network)”,这些文献中的每个文献的内容据此全文以引用方式并入本文。根据本公开的技术可使用的其他技术包括但不限于贝叶斯算法、聚类算法、决策树算法、正则化算法、回归算法、基于实例的算法、人工神经网络算法、深度学习算法、降维算法等。具体算法的各种示例包括贝叶斯线性回归、提升决策树回归和神经网络回归、反向传播神经网络、Apriori算法、K均值聚类、k-最近邻(kNN)、学习矢量量化(LVQ)、自我-组织地图(SOM)、局部加权学习(LWL)、岭回归、最小绝对收缩和选择算子(LASSO)、弹性网络和最小角度回归(LARS)、主成分分析(PCA)和主成分回归(PCR)。
图2是示出根据本公开的一个或多个方面的示例性计算设备的框图。图2仅示出计算设备的一个示例。计算设备116的许多其他示例可在其他情况下使用,并且可包括示例性计算设备116中所包括的部件的子集,或者可包括图2中的示例性计算设备116中未示出的附加部件。
在一些示例中,计算设备116可为车载计算设备或车载子系统、服务器、平板计算设备、智能电话、腕戴式或头戴式计算设备、膝上型计算机、台式计算设备,或者可以运行包括在应用程序228中的功能性集、子集或超集的任何其他计算设备。在一些示例中,计算设备116可对应于图1中所描绘的PAAV 110A上的车辆计算设备116。在其他示例中,计算设备116也可为产生标志的系统或设备的一部分,并且对应于图1中所描绘的计算设备134。
如图2的示例所示,计算设备116可在逻辑上划分为用户空间202、内核空间204和硬件206。硬件206可包括一个或多个硬件部件,该一个或多个硬件部件为在用户空间202和内核空间204中执行的部件提供操作环境。用户空间202和内核空间204可表示存储器的不同区段或分段,其中内核空间204向过程和线程提供比用户空间202更高的权限。例如,内核空间204可包括操作系统220,该操作系统以比在用户空间202中执行的部件更高的权限进行操作。在一些示例中,任何部件、功能、操作和/或数据可被包括在内核空间204中或在其中执行和/或被实现为硬件206中的硬件部件。虽然应用程序228被示出为在用户空间202中执行的应用程序,但应用程序228的不同部分及其相关联的功能性可在硬件和/或软件(用户空间和/或内核空间)中实现。
如图2所示,硬件206包括一个或多个处理器208、输入部件210、存储设备212、通信单元214、输出部件216、移动设备接口104、图像捕获部件102C和车辆控制部件144。处理器208、输入部件210、存储设备212、通信单元214、输出部件216、移动设备接口104、图像捕获部件102C和车辆控制部件144可各自通过一个或多个通信信道218互连。通信信道218可将部件102C、部件104、部件208、部件210、部件212、部件214、部件216和部件144中的每个部件互连以用于部件间通信(物理地、通信地和/或操作地)。在一些示例中,通信信道218可包括硬件总线、网络连接、一个或多个过程间通信数据结构或用于在硬件和/或软件之间传送数据的任何其他部件。
一个或多个处理器208可实现计算设备116内的功能性和/或执行其内的指令。例如,计算设备116上的处理器208可接收并且执行由存储设备212存储的指令,这些指令提供内核空间204和用户空间202中所包括的部件的功能性。由处理器208执行的这些指令可使得计算设备116在程序执行期间在存储设备212内存储和/或修改信息。处理器208可执行内核空间204和用户空间202中的部件的指令,以根据本公开的技术来执行一个或多个操作。也就是说,包括在用户空间202和内核空间204中的部件能够由处理器208操作以实行本文描述的各种功能。
计算设备116的一个或多个输入部件210可接收输入。仅举几个示例,输入的示例为触觉、音频、动力学和光学输入。在一个示例中,计算设备116的输入部件210包括鼠标、键盘、语音响应系统、摄像机、按钮、控制板、麦克风或用于检测来自人类或机器的输入的任何其他类型的设备。在一些示例中,输入部件210可为存在敏感输入部件,该存在敏感输入部件可包括存在敏感屏幕、触敏屏幕等。
计算设备116的一个或多个通信单元214可通过传输和/或接收数据与外部设备进行通信。例如,计算设备116可使用通信单元214来在无线电网络(诸如蜂窝无线电网络)上传输和/或接收无线电信号。在一些示例中,通信单元214可在卫星网络(诸如全球定位系统(GPS)网络)上传输和/或接收卫星信号。通信单元214的示例包括网络接口卡(例如,诸如以太网卡)、光收发器、射频收发器、GPS接收器或可发送和/或接收信息的任何其他类型的设备。通信单元214的其他示例可包括存在于移动设备中的GPS、3G、4G和无线电以及通用串行总线(USB)控制器等。
在一些示例中,通信单元214可接收包括车辆路径的一个或多个特点的数据。如图1所述,出于本公开的目的,关于车辆路径106和/或车辆路径106的特点的确定的提及可包括关于车辆路径106和/或路径106处或附近的物体(包括车辆路径106的特点和/或路径106处或附近的物体,诸如但不限于其他车辆、行人或物体)的确定。在计算设备116为车辆(诸如图1中描绘的PAAV 110A)的一部分的示例中,通信单元214可从图像捕获设备接收关于包括结构化纹理元件的路径制品的信息,如关于图1所描述的。在其他示例(诸如其中计算设备116是产生标志的系统或设备的一部分的示例)中,通信单元214可从测试车辆、手持设备或可采集指示车辆路径的特点的数据的其他工具接收数据,如上面在图1中和下面更详细描述的。计算设备116可经由通信单元214接收更新信息,对软件、固件的升级和类似的更新。
计算设备116的一个或多个输出部件216可生成输出。输出的示例为触觉、音频和视频输出。在一些示例中,计算设备116的输出部件216包括存在敏感屏幕、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于向人类或机器生成输出的任何其他类型的设备。输出部件可包括显示部件如阴极射线管(CRT)监视器、液晶显示器(LCD)、发光二极管(LED)或用于生成触觉、音频和/或视觉输出的任何其他类型的设备。在一些示例中,输出部件216可与计算设备116集成。
在其他示例中,输出部件216可在物理上位于计算设备116的外部并且与计算设备116分离,但是可经由有线或无线通信可操作地耦接到计算设备116。输出部件可为计算设备116的内置部件(例如,移动电话上的屏幕),该内置部件位于计算设备116的外部封装内并且物理地连接到计算设备116的外部封装。在另一示例中,存在敏感显示器可为计算设备116的外部部件(例如,与平板计算机共享有线和/或无线数据路径的监视器、投影仪等),该外部部件位于计算设备116的封装之外并且与计算设备116的封装物理分离。
在计算设备116位于PAAV上的示例中,硬件206也可包括车辆控制部件144。车辆控制部件144可具有与关于图1描述的车辆控制部件144相同或相似的功能。
计算设备116内的一个或多个存储设备212可存储用于在计算设备116的操作期间进行处理的信息。在一些示例中,存储设备212是临时存储器,这意味着存储设备212的主要目的不是长期存储。计算设备116上的存储设备212可被配置用于信息的短期存储,作为易失性存储器,并且因此如果被停用则不保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。
在一些示例中,存储设备212也包括一个或多个计算机可读存储介质。存储设备212可被配置为存储比易失性存储器更大量的信息。存储设备212还可被配置用于信息的长期存储,如非易失性存储器空间,并且在激活/关闭周期之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦可编程(EEPROM)存储器的形式。存储设备212可存储与包括在用户空间202和/或内核空间204中的部件相关联的程序指令和/或数据。
如图2所示,应用程序228在计算设备116的用户空间202中执行。应用程序228可在逻辑上划分为表示层222、应用层224和数据层226。表示层222可包括用户界面(UI)部件228,其生成和呈现应用程序228的用户界面。应用程序228可包括但不限于:UI部件124、解释部件118、安全部件120和一个或多个服务部件122。例如,应用层224可包括解释部件118、服务部件122和安全部件120。表示层222可包括UI部件124。
数据层226可包括一个或多个数据存储。数据存储可以结构或非结构化形式存储数据。示例性数据存储可以为关系数据库管理系统、在线分析处理数据库、表格或用于存储数据的任何其他合适的结构中的任何一种或多种。
安全数据234可包括指定一个或多个验证函数和/或验证配置的数据。服务数据233可包括用于提供服务部件122的服务和/或由提供服务部件122的服务所得的任何数据。例如,服务数据可包括与路径制品有关的信息(例如,安全规范)、用户信息或任何其他信息。图像数据232可包括从一个或多个图像捕获设备(诸如关于图1所述的图像捕获设备102)接收的一个或多个图像。在一些示例中,图像为位图、联合图像专家组图像(JPEG)、可移植网络图形图像(PNG)或任何其他合适的图形文件格式。
在图2的示例中,通信单元214中的一个或多个可从图像捕获设备接收包括制品消息(诸如图1中的制品消息126)的路径制品的图像。在一些示例中,UI部件124或应用层224的任一个或多个部件可接收路径制品的图像,并且将图像存储在图像数据232中。
响应于接收到图像,解释部件118可确定在从图像数据232选择的图像中是否包括结构化纹理嵌入。图像数据232可包括由图像捕获部件102C捕获的自然环境场景的图像或视频。图像数据232可包括指示结构化纹理嵌入与关键点或其他特征之间的关联的信息。使用本公开中描述的特征辨识技术,解释部件可确定在一个或多个图像中包括一个或多个结构化纹理嵌入。解释部件118可应用一种或多种特征辨识技术来提取分别对应于结构化纹理元件的关键点。关键点可表示、对应于或识别存在于特定结构化纹理元件中的视觉特征。如此,关键点可由解释部件118的一种或多种特征辨识技术处理以确定图像包括特定结构化纹理元件。解释部件118可使用特征辨识技术处理图像中的一个或多个图像以确定图像包括关键点的不同子集。解释部件118可应用一种或多种技术以基于关键点来确定哪些结构化纹理元件(如果有的话)存在于图像或一组图像中。此类技术可包括:确定关键点的哪个子集具有对应于或匹配特定结构化纹理元件的关键点的最高关键点数量,确定哪个子集具有对应于或匹配特定结构化纹理元件的关键点的最高关键点概率,或者用于确定特定结构化纹理元件对应于所提取的关键点的任何其他合适的选择技术。解释部件118可使用选择技术来输出指示对应于关键点812中的一个或多个关键点的结构化纹理元件的标识符或其他数据。
解释部件118也可确定车辆路径的一个或多个特点,并且将代表特点的数据传输到计算设备116的其他部件,诸如服务部件122。解释部件118可在一些示例中使用结构化纹理元件来确定车辆路径的特点指示对车辆的一个或多个功能的调节。例如,结构化纹理元件可基于与附接到车队的一部分的结构化纹理元件相关联的信息来指示包括计算设备116的车辆正在接近车辆车队。计算设备116可将该信息与来自其他传感器(诸如图像捕获设备)的其他信息、GPS信息、来自网络114的信息以及类似信息组合,以通过车辆控制部件144来调节车辆操作(包括但不限于车辆的速度、悬架或其他功能)。
类似地,计算设备116可确定车辆的一个或多个状况。车辆状况可包括车辆的重量、车辆内的负载的位置、一个或多个车辆轮胎的轮胎压力、车辆的传输设定和车辆的动力系统状态。例如,与带有较不强大的动力系统(即,马达)的PAAV相比,带有大的动力系统的PAAV可在遇到车辆路径倾斜时,接收不同的命令。
计算设备116也可确定车辆附近的环境状况。环境状况可包括空气温度、降水水平、降水类型、车辆路径的倾斜、其他车辆的存在以及车辆轮胎与车辆路径之间的估计的摩擦水平。
计算设备116可组合来自结构化纹理元件、车辆状况、环境状况、解释部件118和其他传感器的信息以确定对车辆的一个或多个功能的状态的调节,诸如通过车辆控制部件144的操作来进行调节,该车辆控制部件可与应用程序228的任何部件和/或数据进行交互操作。例如,解释部件118可基于解释车辆路径上的带有结构化纹理元件的标志来确定车辆正在接近带有下降的曲线。计算设备116可针对干燥状况确定一个速度,并且针对湿状况确定不同速度。类似地,载重货运卡车上的计算设备116可确定一个速度,而赛车上的计算设备116可确定不同的速度。
在一些示例中,计算设备116可通过考虑PAAV的牵引力控制历史来确定路径的状况。例如,如果PAAV的牵引力控制系统是非常有活性的,则计算设备116可确定路径与车辆轮胎之间的摩擦很低,诸如在暴风雪或雨夹雪期间。
本公开的路径制品可包括一个或多个安全元件(其可在结构化纹理元件中实现),诸如图1中所描绘的安全元件126E,以帮助确定路径制品是否为伪造的。安全是关于智能基础结构的问题,以使黑客、恐怖活动或犯罪的影响最小化。例如,罪犯可试图将自主货运卡车重定向到另选路线,以从卡车中偷取货品。作为决策公式的一部分,无效的安全检查可致使计算设备116对标志中的信息给予很小的权重或不给予权重以控制PAAV。
如上面讨论的,对于制品消息的机器可读部分,安全标记的特性可包括但不限于位置、大小、形状、图案、组成、回射特性、给定波长下的外观、或一个或多个安全标记的任何其他空间特点。安全部件120可至少部分地基于确定至少一个符号(诸如图形符号)是否对结构化纹理元件中包括的至少一个安全元件有效来确定路径制品(诸如增强的标志108)是否为伪造的。如关于图1所描述的,安全部件120可包括增强的标志108的构造所基于的一个或多个验证函数和/或一个或多个验证状况。在一些示例中,基准标记诸如基准标签126C可充当安全元件。在其他示例中,路径制品可包括一个或多个安全元件,诸如安全元件126E。
在图2中,安全部件120基于安全数据234中的验证状况使用验证函数来确定图1中所描绘的路径制品是否为伪造的。安全部件120基于确定结构化纹理元件中的安全元件满足验证配置来生成指示增强的标志108是真实的(例如,不是伪造的)的数据。如果增强的标志108中的安全元件和制品消息不满足验证标准,则安全部件120可生成指示路径制品不是真实的(例如,伪造的)或路径制品没有被正确读取的数据。
路径制品可不能被正确读取,因为路径制品可被部分遮挡或阻挡,图像可变形,或者路径制品被损坏。例如,在大雪或大雾中、或沿受到从路径表面升高的热变形的热的高速公路,路径制品的图像可变形。在另一示例中,另一车辆(诸如大型卡车)或枯树枝可部分地掩盖路径制品。结构化纹理元件中包括的安全元件或制品消息的其他部件可帮助确定增强的标志是否被损坏。如果安全元件被损坏或变形,则安全部件120可确定增强的标志是无效的。
对于计算机视觉系统的一些示例,诸如可为PAAV 110A的一部分,在车辆接近增强的标志时,路径制品可在数百帧中可见。增强的标志的解释可不一定依赖于单个成功的捕获图像。在远距离处,系统可辨识增强的标志。随着车辆靠近,分辨率可改善,并且标志信息的解释的置信度可增加。解释的置信度可影响决策公式的加权和来自车辆控制部件144的输出。
服务部件122可基于由安全部件120和/或解释部件118生成的数据来实行一个或多个操作。服务部件122可例如查询服务数据233,以检索用于发送通知的接收人的列表,或者存储指示路径制品的图像的细节的信息(例如,路径制品附接到的物体、图像本身、图像的元数据(例如,时间、日期、位置等))。响应于例如确定路径制品是伪造的,服务部件122可将数据发送至UI部件124,该数据致使UI部件124生成用于显示的警示。UI部件124可将数据发送到输出部件216中的输出部件,该数据致使该输出部件显示警示。在其他示例中,服务部件122可使用服务数据233,该服务数据包括指示能够由计算设备116和/或车辆110A使用的一个或多个操作、规则或其他数据的信息。例如,操作、规则或其他数据可指示车辆操作、交通状况或特点或者路径状况或特点、与路径相关联的物体、其他车辆或行人信息、或能够由计算设备116和/或车辆110A使用的任何其他信息。
类似地,服务部件122或计算设备116的一些其他部件可致使通过通信单元214发送消息。该消息可包括任何信息,诸如制品是否是伪造的、车辆所采取的操作、与结构化纹理元件相关联的信息、结构化纹理元件是否被识别出,仅举几个示例,并且在此类消息中可发送本公开中描述的任何信息。在一些示例中,可将消息发送到执法机关、对车辆路径的维护负责的那些,并且发送到其他车辆,诸如路径制品旁边的车辆。
图3是根据本公开的技术的路径制品的剖视图的概念图。在一些示例中,诸如增强的标志,路径物品可包括多个层。出于说明的目的,在图3中,路径制品300可包括基部表面302。基部表面302可为铝板或任何其他刚性、半刚性或柔性表面。回射片材304可为如本公开中所描述的回射片材。可在回射片材304与基部表面302之间设置粘合剂层(未示出),以将回射片材304粘附到基部表面302。
路径制品可包括形成或粘附到回射片材304的覆膜306。覆膜306可由可见地透明的红外不透明材料构造,可见地透明的红外不透明材料诸如但不限于如在美国专利8,865,293中公开的多层光学膜,该专利全文以引用方式明确并入本文。在一些构造过程中,回射片材304可被印刷,并且然后覆膜306随后施加到反射片材304。观察者308(诸如人或图像捕获设备)可在由箭头310指示的方向上观察路径制品300。
如在本公开中所描述的,在一些示例中,制品消息(其可包括结构化纹理元件或是结构化纹理元件)可被印刷或以其他方式被包括在回射片材上。可在回射片材上施加覆膜。在一些示例中,覆膜可不包含制品消息。在图3的示例中,制品消息的可见部分312可被包括在回射片材304中,但是制品消息的不可见部分314可被包括在覆膜306中。在一些示例中,不可见部分可由形成覆膜的可见地透明的红外不透明材料创建,或者不可见部分可被创建在形成覆膜的可见地透明的红外不透明材料内。欧洲公布EP0416742描述了由在近红外光谱中吸收但在可见光谱中透明的材料创建的辨识符号。合适的近红外吸收剂/可见发射器材料包括美国专利4,581,325中公开的染料。美国专利7,387,393描述了包括阻挡红外材料的车辆牌照,阻挡红外材料在车辆牌照上创建对比度。美国专利8,865,293描述了将红外反射材料定位成与回射或反射基板相邻,使得当基板被红外辐射源照射时,红外反射材料形成可由红外传感器读取的图案。EP0416742和美国专利4,581,325、7,387,393和8,865,293全文以引用方式明确并入本文。在一些示例中,覆膜306可蚀刻有一个或多个可见或不可见部分。
在一些示例中,如果覆膜包括不可见部分314,并且回射片材304包括制品消息的可见部分312,则图像捕获设备可捕获两个单独的图像,其中在不同的照明光谱或照明状况下捕获每个单独的图像。例如,图像捕获设备可在第一照明光谱下捕获第一图像,该第一照明光谱跨越红外光的下界限到900nm的上界限。第一图像可指示哪些编码单元是活性的或非活性的。图像捕获设备可在第二照明光谱下捕获第二图像,该第二照明光谱跨越900nm的下界限到红外光的上界限。第二图像可指示制品消息的哪些部分是活性的或非活性的(或存在的或不存在的)。可使用任何合适的界限值。在一些示例中,多个覆膜层而不是单个覆膜306层可设置在回射片材304上。多个覆膜层中的一个或多个可具有制品消息的一个或多个部分。在本公开中相对于制品消息所描述的技术可应用于图3中描述的带有多个覆膜层的示例中的任一个示例。
在一些示例中,构造设备(诸如,如本公开中所描述的构造设备)中的激光器可将制品消息雕刻到片材上,这使得能够特地为预先确定的含义嵌入标记。在2015年12月8日提交的美国临时专利申请62/264,763中描述了示例性技术,该专利申请全文据此以引用方式并入。在此类示例中,路径制品中的制品消息的部分可在印刷时添加,而不是在片材制造期间进行编码。在一些示例中,图像捕获设备可捕获图像,其中所雕刻的安全元件或制品消息的其他部分可与路径制品的其他内容区分开。在一些示例中,制品消息可在固定位置处设置在片材上,而在其他示例中,制品消息可使用移动构造设备设置在片材上,如上所述。
图4A和图4B示出了根据本公开的一种或多种技术的形成在回射片材上的制品消息的部分的剖视图。如本公开中所描述的,制品消息可包括结构化纹理元件或是结构化纹理元件。回射制品400包括回射层402,该回射层包括多个立体角元件404,该多个立体角元件共同形成与主表面407相对的结构化表面406。光学元件可为完整立方体、截顶立方体、或优选几何形状(PG)立方体,如在例如全文以引用方式并入本文的美国专利7,422,334中所述。图4A和图4B中示出的具体的回射层402包括主体层409,但是技术人员将了解一些示例不包括覆盖层。一个或多个屏障层410定位在回射层402与适形层412之间,从而创建低折射率区域414。屏障层410在立体角元件404与适形层412之间形成物理“屏障”。屏障层410可与立体角元件404的尖端直接接触或间隔开或者可轻微地推压到立体角元件404的尖端中。屏障层410具有与(1)不包括屏障层的区域412(光线416的视线)或(2)另一屏障层412中的一者中的特点不同的特点。示例性特点包括例如颜色和红外吸收性。
一般来讲,防止适形层材料接触立体角元件404或流入或蠕动到低折射率区域414中的任何材料可用于形成屏障层。用于屏障层410中的示例性材料包括树脂、聚合物材料、染料、油墨(包括变色油墨)、乙烯基、无机材料、可UV固化的聚合物、多层光学膜(包括,例如,变色多层光学膜)、颜料、颗粒和珠子。一个或多个阻挡层的尺寸和间距可变。在一些示例中,屏障层可在回射片材上形成图案。在一些示例中,可希望减少片材上的图案的可见度。一般来讲,任何所需的图案可通过所述的技术的组合产生,包括,例如标记,如字母、单词、文字数字、符号、图表、徽标,或图画。图案也可为连续的、不连续的、单调的、有点的、螺线型、任何平滑变化函数,在纵向、横向、或上述两者上变化的条纹;图案可形成图像、徽标、或文字,且图案可包括图案化涂层和/或穿孔。图案可包括例如不规则图案、规则图案、网格、单词、图形、图像、线条、以及形成单元的交叉区域。
低折射率区域414定位在(1)屏障层410和适形层412中的一者或两者与(2)立体角元件404之间。低折射率区域414促进全内反射,使得入射在与低折射率区域414相邻的立体角元件404上的光回射。如图4B所示,入射在与低折射率层414相邻的立体角元件404上的光线416回射回到观察者418。由于这个原因,包括低折射率层414的回射制品400的区域可称为光学活性区域。相比之下,不包括低折射率层414的回射制品400的区域可称为光学非活性区域,因为该区域基本上不回射入射光。如本文所用,术语“光学非活性区域”是指比光学活性区域至少少50%光学活性(例如,回射)的区域。在一些示例中,光学非活性区域比光学活性区域至少少40%光学活性、或至少少30%光学活性、或至少少20%光学活性、或至少少10%光学活性、或至少少5%光学活性。
低折射率层414包括折射率小于约1.30、小于约1.25、小于约1.2、小于约1.15、小于约1.10、或小于约1.05的材料。一般来讲,防止适形层材料接触立体角元件404或流入或蠕动到低折射率区域414中的任何材料都可用作低折射率材料。在一些示例中,屏障层410具有足够的结构完整性以防止适形层412流入低折射率区域414中。在此类示例中,低折射率区域可包括例如气体(如,空气、氮气、氩气等等)。在其他示例中,低折射率区域包括可流入或压进到立体角元件404中或压到该立体角元件上的固体或液体物质。例如,示例性材料包括超低折射率涂层(在PCT专利申请PCT/US2010/031290中描述的那些)和凝胶。
与立体角元件404相邻或与其接触的适形层412的部分形成非光学活性(如,非回射)区域或单元。在一些示例中,适形层412是光学不透明的。在一些示例中,适形层412具有白色。
在一些示例中,适形层412是粘合剂。示例性粘合剂包括PCT专利申请PCT/US2010/031290中描述的那些。在适形层是粘合剂的情况下,该适形层可辅助将整个回射构造固持在一起,并且/或者屏障层410的粘弹性性质可在回射制品制造期间初始地或随时间推移防止润湿立体尖端或表面。
在一些示例中,适形层412是压敏粘合剂。压敏粘合剂的PSTC(压敏胶带委员会)定义为在室温下永久性发粘、可利用轻压(指压)粘附至多种表面、且不具有相变(液态到固态)的粘合剂。虽然大多数粘合剂(如,热熔融粘合剂)需要热和压力以适形,但是压敏粘合剂通常仅需要压力以适形。示例性压敏粘合剂包含在美国专利6,677,030中描述的那些。屏障层410也可防止压敏粘合剂润湿立体角片材。在其他示例中,适形层412为热熔融粘合剂。
在一些示例中,路径制品可使用非永久性粘合剂,以将制品消息附接到基部表面。这可允许基部表面重新用于不同的制品消息。非永久性粘合剂可在诸如车辆路径可频繁地改变的道路施工区的区域中具有优点。
在图4A的示例中,非屏障区域420不包括屏障层,诸如屏障层410。如此,光可以比屏障层410A-410B更低的强度进行反射。在一些示例中,非屏障区域420可对应于“活性”安全元件。例如,整个区域或基本上所有的图像区域142A可为非屏障区域420。在一些示例中,基本上所有的图像区域142A可为遮盖图像区域142A的面积的至少50%的非屏障区域。在一些示例中,基本上所有的图像区域142A可为遮盖图像区域142A的面积的至少75%的非屏障区域。在一些示例中,基本上所有的图像区域142A可为遮盖图像区域142A的面积的至少90%的非屏障区域。在一些示例中,一组屏障层(例如,410A、410B)可对应于如图1中所描述的“非活性”安全元件。在前面提及的示例中,如图1中所述的“非活性”安全元件可具有填充有屏障层的整个区域或基本上所有的图像区域142D。在一些示例中,基本上所有的图像区域142D可为遮盖图像区域142D的面积的至少75%的非屏障区域。在一些示例中,基本上所有的图像区域142D可为遮盖图像区域142D的面积的至少90%的非屏障区域。在相对于安全层的图4的前述描述中,在一些示例中,非屏障区域420可对应于“非活性”安全元件,而“活性”安全元件可将其整个区域或基本上所有的图像区域142D填充有屏障层。
图5是示出了根据本公开的一个或多个方面的示例性计算设备的框图。图5仅示出了计算设备的一个示例,该计算设备在图5中是图1的计算设备134。计算设备134的许多其他示例可在其他示例中使用,并且可包括示例性计算设备134中所包括的部件的子集,或者可包括图5中的示例性计算设备134中未示出的附加部件。计算设备134可以是来自图1中的计算设备116的远程计算设备(例如,服务器计算设备)。
在一些示例中,计算设备134可以是服务器、平板计算设备、智能电话、腕戴式或头戴式计算设备、膝上型计算机、台式计算设备,或者可以运行包括在应用程序228中的功能性集、子集或超集的任何其他计算设备。在一些示例中,计算设备134可对应于图1中所描绘的计算设备134。在其他示例中,计算设备134也可以是产生路径制品的系统或设备的一部分。
如图5的示例所示,计算设备134可在逻辑上划分为用户空间502、内核空间504和硬件506。硬件506可包括一个或多个硬件部件,该一个或多个硬件部件为在用户空间502和内核空间504中执行的部件提供操作环境。用户空间502和内核空间504可表示存储器的不同区段或分段,其中内核空间504向过程和线程提供比用户空间502更高的权限。例如,内核空间504可包括操作系统520,该操作系统以比在用户空间502中执行的部件更高的权限进行操作。在一些示例中,任何部件、功能、操作和/或数据可被包括在内核空间504中或在其中执行和/或被实现为硬件506中的硬件部件。
如图5所示,硬件506包括一个或多个处理器508、输入部件510、存储设备512、通信单元514和输出部件516。处理器508、输入部件510、存储设备512、通信单元514和输出部件516可各自通过一个或多个通信信道518互连。通信信道518可将部件508、部件510、部件512、部件514和部件516中的每个部件互连以用于部件间通信(物理地、通信地和/或操作地)。在一些示例中,通信信道518可包括硬件总线、网络连接、一个或多个过程间通信数据结构或用于在硬件和/或软件之间传送数据的任何其他部件。
一个或多个处理器508可实现计算设备134内的功能性和/或执行其内的指令。例如,计算设备134上的处理器508可接收并且执行由存储设备512存储的指令,这些指令提供内核空间504和用户空间502中所包括的部件的功能性。由处理器508执行的这些指令可使得计算设备134在程序执行期间在存储设备512内存储和/或修改信息。处理器508可执行内核空间504和用户空间502中的部件的指令,以根据本公开的技术来执行一个或多个操作。也就是说,包括在用户空间502和内核空间504中的部件能够由处理器508操作以执行本文所描述的各种功能。
计算设备134的一个或多个输入部件510可接收输入。仅举几个示例,输入的示例为触觉、音频、动力学和光学输入。在一个示例中,计算设备134的输入部件510包括鼠标、键盘、语音响应系统、摄像机、按钮、控制板、麦克风或用于检测来自人类或机器的输入的任何其他类型的设备。在一些示例中,输入部件510可为存在敏感输入部件,该存在敏感输入部件可包括存在敏感屏幕、触敏屏幕等。
计算设备134的一个或多个通信单元514可通过传输和/或接收数据与外部设备进行通信。例如,计算设备134可使用通信单元514来在无线电网络(诸如蜂窝无线电网络)上传输和/或接收无线电信号。在一些示例中,通信单元514可在卫星网络(诸如全球定位系统(GPS)网络)上传输和/或接收卫星信号。通信单元514的示例包括网络接口卡(例如,诸如以太网卡)、光收发器、射频收发器、GPS接收器,或可发送和/或接收信息的任何其他类型的设备。通信单元514的其他示例可包括存在于移动设备中的GPS、3G、4G和无线电以及通用串行总线(USB)控制器等。
计算设备134的一个或多个输出部件516可生成输出。输出的示例为触觉、音频和视频输出。在一些示例中,计算设备134的输出部件516包括存在敏感屏幕、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD),或用于向人类或机器生成输出的任何其他类型的设备。输出部件可包括显示部件如阴极射线管(CRT)监视器、液晶显示器(LCD)、发光二极管(LED)或用于生成触觉、音频和/或视觉输出的任何其他类型的设备。在一些示例中,输出部件516可与计算设备134集成。
在其他示例中,输出部件516可在物理上位于计算设备134的外部并且与计算设备134分离,但是可经由有线或无线通信可操作地耦接到计算设备134。输出部件可为计算设备134的内置部件(例如,移动电话上的屏幕),该内置部件位于计算设备134的外部封装内并且物理地连接到计算设备134的外部封装。在另一示例中,存在敏感显示器可为计算设备134的外部部件(例如,与平板计算机共享有线和/或无线数据路径的监视器、投影仪等),该外部部件位于计算设备134的封装之外并且与计算设备134的封装物理分离。
计算设备134内的一个或多个存储设备512可存储用于在计算设备134的操作期间进行处理的信息。在一些示例中,存储设备512是临时存储器,这意味着存储设备512的主要目的不是长期存储。计算设备134上的存储设备512可被配置用于信息的短期存储,作为易失性存储器,并且因此如果被停用则不保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。
在一些示例中,存储设备512也包括一个或多个计算机可读存储介质。存储设备512可被配置为存储比易失性存储器更大量的信息。存储设备512还可被配置用于信息的长期存储,作为非易失性存储器空间,并且在激活/关闭周期之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦可编程(EEPROM)存储器的形式。存储设备512可存储与包括在用户空间502和/或内核空间504中的部件相关联的程序指令和/或数据。
如图5所示,应用程序528在计算设备134的用户空间502中执行。应用程序528可在逻辑上划分为表示层522、应用层524和数据层526。应用程序528可包括但不限于在表示层522、应用层524和数据层526中所示的各种部件和数据。
数据层526可包括一个或多个数据存储。数据存储可以结构或非结构化形式存储数据。示例性数据存储可以为关系数据库管理系统、在线分析处理数据库、表格或用于存储数据的任何其他合适的结构中的任何一种或多种。
在计算设备134是产生路径制品的系统或设备的一部分的示例中,计算设备134可包括构造部件517或通信地耦接到该构造部件,诸如关于图1中的计算设备134所描述的。在其他示例中,构造部件517可被包括在与计算设备134分离的远程计算设备中,并且该远程计算设备可以通信地耦接到计算设备134或可以不通信地耦接到计算设备134。构造部件517可将构造数据发送到构造设备(诸如构造设备138),该构造数据致使构造设备138根据印刷机规范和指示车辆路径的一个或多个特点的数据来印刷制品消息。
如上面关于图1所描述的,构造部件517可接收指示来自选择部件552的结构化纹理元件的数据。选择部件552在图8中另外描述。构造部件517结合计算设备134的其他部件可确定指示结构化纹理元件的制品消息。如上面关于图1所描述的,制品消息可包括结构化纹理元件、图形符号、基准标记和可包含车辆道路的一个或多个特点的一个或多个附加元件。制品消息可包括机器可读元件和人类可读元件两者。构造部件517可向构造设备138提供构造数据以在路径制品上形成制品消息。在一些示例中,计算设备134可与构造设备138通信以初始地制造或以其他方式创建带有包括结构化纹理元件的制品消息的路径制品。构造设备138可与计算设备134一起使用,该计算设备可控制构造设备138的操作,如在图1的计算设备134的示例中。
在一些示例中,构造设备138可以是在路径制品上印刷、设置或以其他方式形成制品消息的任何设备。构造设备138的示例包括但不限于针模、凹版印刷机、丝网印刷机、热传质印刷机、激光印刷机/雕刻机、层压机、柔版印刷机、喷墨印刷机、红外线墨水印刷机。在一些示例中,增强的标志108可为由构造设备138构造的回射片材,并且在一些情况下由除构造设备138以外的不同操作者或实体操作的单独构造过程或设备可将制品消息施加到片材和/或将片材施加到基部层(例如,铝板)。
构造设备138可通过一个或多个通信链路通信地耦接到计算设备134。计算设备134可控制构造设备138的操作,或者可生成构造数据并且将构造数据发送到构造设备138。计算设备134可包括一个或多个印刷规范。印刷规范可包括限定路径制品上的制品消息126的特性(例如,位置、形状、大小、图案、组成或其他空间特点)的数据。在一些示例中,印刷规范可以由操作人员或机器生成。在任何情况下,构造部件517可将数据发送到构造设备138,该数据致使构造设备138根据印刷机规范和指示车辆路径的至少一个特点的数据来印刷制品消息。
图1中所描绘的路径制品上的制品消息126的部件可使用柔性版印刷过程来印刷。例如,增强的标志108可包括基部层(例如,铝片)、设置在基部层上的粘合剂层、设置在粘合剂层上的结构化表面、以及设置在结构化表面上的覆盖层,诸如在美国公布US2013/0034682、US2013/0114142、US2014/0368902、US2015/0043074中所描述的,这些公布据此全文以引用方式明确地并入。结构化表面可由光学元件形成,光学元件诸如完整立方体(例如,六边形立方体或优选几何形状(PG)立方体)、或截顶立方体或珠子,如在例如美国专利7,422,334中描述的,该专利据此全文以引用方式明确并入。
为了在路径制品的不同区域处创建不可见的部件,可在粘合剂层的此类不同区域处设置屏障材料。屏障材料在结构化表面和粘合剂之间形成物理“屏障”。通过形成防止粘合剂接触结构化表面的一部分的屏障,创建低折射率区域,该低折射率区域提供将光从路径制品回射回到观察者。低折射率区域实现光的全内反射,使得入射到与低折射率区域相邻的结构化表面上的光被回射。在该实施方案中,不可见部件由屏障材料的部分形成。
在其他实施方案中,通过使用密封膜来实现全内反射,密封膜借助于例如压花附接到路径制品的结构化表面。在美国专利公布2013/0114143和美国专利7,611,251中公开了示例性密封膜,所有这些专利据此全文以引用方式明确并入本文。
在其他实施方案中,除了密封膜之外或代替密封膜,反射层被设置为与路径制品(例如,增强的标志108)的结构化表面相邻。合适的反射层包括例如可通过已知的技术(诸如汽相沉积或化学沉积金属如铝、银或镍)来施加的金属涂层。可以在立体角元件的背面施加底漆层,以促进金属涂层的粘附性。
在一些示例中,构造设备138可处于远离路径制品的安装位置的位置处。在其他示例中,构造设备138可为移动的,诸如连同相关联的计算设备(诸如计算设备134)安装在卡车、厢式货车或类似的车辆中。当本地车辆路径状况指示对临时或不同标志的需要时,移动构造设备可具有优点。例如,在公路冲刷的情况下,在仅剩下一个车道的情况下,在车辆路径频繁改变的施工区域中,或在装备或存储位置可改变的仓库或工厂中。移动构造设备可接收构造数据,如所描述的,并且在可需要制品的位置处创建路径制品。在一些示例中,运载构造设备的车辆可包括传感器,该传感器允许车辆经过改变的路径,并且确定路径特征。在一些示例中,可将包含制品消息的基板从制品的基部层移除,并且用包含新制品消息的更新的基板替换包含制品消息的基板。这可在成本节约中具有优点。
计算设备134可从多种来源接收指示车辆路径的特点或属性的数据。在一些示例中,计算设备134可从地形映射数据库、配备光检测和测距(激光雷达)的飞行器、无人机或类似车辆接收车辆路径特点。如关于图1所述,装备传感器的车辆可横穿、测量和确定车辆路径的特点。在其他示例中,操作者可用手持设备行走车辆路径。传感器(诸如加速度计)可确定路径特点或属性,并且生成用于计算设备134的数据。如关于图1所描述的,计算设备134可接收限定路径制品的一个或多个特性的印刷机规范。印刷机规范也可包括或以其他方式指定一个或多个验证函数和/或验证配置,如本公开中另外描述的。为了提供伪造检测,构造部件517可根据验证函数和/或验证配置来印刷安全元件和制品消息。验证函数可为任何函数,该任何函数将验证信息(例如,路径制品的制品消息和/或安全元件中的一个或多个的一个或多个编码或文本值)作为输入,并且产生值作为输出,该值可用于验证制品消息的组合指示路径制品是真实的还是伪造的。验证函数的示例可包括单向函数、映射函数或任何其他合适的函数。验证配置可为数据或一组规则的任何映射,数据或一组规则的任何映射表示一个或多个安全元件的验证信息和制品消息之间的有效关联,并且可用于验证制品消息和验证信息的组合指示路径制品是真实的还是伪造的。如本公开中另外描述的,计算设备可确定验证信息是否满足用于生成带有制品消息和至少一个安全元件的路径制品的构造的验证配置的一个或多个规则,其中验证配置的一个或多个规则限定制品消息与一个或多个安全元件的验证信息之间的有效关联。
以下示例提供用于在路径制品中创建制品消息的部分的其他技术,其中一些部分在被图像捕获设备捕获时可与路径制品的其他内容区分开。例如,可使用至少两组记号来创建制品消息的一部分,诸如安全元件,其中第一组在可见光谱中是可见的,并且当暴露于红外辐射时是基本上看不见的或非干扰性的;并且第二组记号在可见光谱中是不可见的,并且当暴露于红外线时是可见的(或可检测的)。专利公布WO/2015/148426(Pavelka等人)描述了牌照,该牌照包括在不同波长下可见的两组信息。WO/2015/148426的公开内容全文以引用方式明确并入本文。在另一示例中,可通过改变底层基板的至少一部分的光学特性来创建安全元件。全文以引用方式明确并入的美国专利7,068,434(Florczak等人)描述了在珠状回射片材中形成复合图像,其中复合图像看起来悬挂在片材上方或下方(例如,浮动图像)。全文以引用方式明确并入的美国专利8,950,877(Northe等人)描述了棱镜回射片材,该棱镜回射片材包括具有第一视觉特征的第一部分和具有与第一视觉特征不同的第二视觉特征的第二部分,其中第二视觉特征形成安全标记。不同的视觉特征可包括给定取向、入射角或观测角度以及旋转对称性下的回射率、亮度或白度中的至少一个。全文以引用方式明确并入的专利公布2012/240485(Orensteen等人)描述了通过用辐射源辐照背面(即,具有诸如立体角元件的棱镜特征的一侧)在棱镜回射片材中创建安全标记。全文以引用方式明确并入的美国专利公布2014/078587(Orensteen等人)描述了包括光学可变标记的棱镜回射片材。在回射片材的制造过程期间创建光学可变标记,其中提供包括立体角腔的模具。模具至少部分地填充有可辐射固化树脂,并且可辐射固化树脂暴露于第一图案化辐照。US 7,068,464、US 8,950,877、US 2012/240485和US 2014/078587中的每一者全文以引用方式明确并入。
在一些示例中,计算设备134可包括远程服务部件556。远程服务部件556可向远程计算设备(诸如包括在车辆110A中的计算设备116)提供一个或多个服务。远程服务部件556可发送存储在远程服务数据558中的信息,该信息指示能够由计算设备116和/或车辆110A使用的一个或多个操作、规则或其他数据。例如,操作、规则或其他数据可指示车辆操作、交通状况或特点或者路径状况或特点、与路径相关联的物体、其他车辆或行人信息、或能够由计算设备116和/或车辆110A使用的任何其他信息。在一些示例中,远程服务数据558包括描述物体的信息,该物体对应于与结构化纹理元件相关联的制品。例如,服务数据558可指示结构化纹理元件与描述物体的信息之间的关联。如果特定结构化纹理嵌入被识别或选择,则描述物体的相关联的信息可由远程服务数据558检索、传输或进行其他处理,并且在一些示例中,与计算设备116进行通信。在一些示例中,UI部件554可提供一个或多个用户界面,该一个或多个用户界面使得用户能够配置或以其他方式操作选择部件552、远程服务部件556、制品消息数据550和/或远程服务数据558。
本公开中所描述的示例可在任何环境中并且使用附图中所描述的制品、系统和/或计算设备中的任一者和本文所描述的示例来执行。尽管图5的各种部件和操作被示出为在计算设备134中实现,但在其他示例中,这些部件和操作可在不同和/或单独的计算设备上实现。
图6示出了根据本公开的技术的可在回射制品处实现的结构化纹理嵌入。如图6所示,醒目带600可包括结构化纹理嵌入602。结构化纹理元件602可使用本公开中所描述的一种或多种制造技术来印刷或以其他方式体现在醒目带600上。如图6所示,结构化纹理元件1604可应用于半挂列车拖车的拖车。结构化纹理元件2 606可应用于校车的后侧。在一些示例中,结构化纹理元件604和结构化纹理元件606可指示以下信息或任何其他合适的信息或与之相关联:该信息指示车辆类型(例如,“卡车”、“校车”)、车辆的一部分(例如,“左侧”、“后侧”)。在路面标记中的结构化纹理元件的其他示例中,此类结构化纹理元件可指示以下信息或与之相关联:路面标记的位置、路面标记的车道标识符、车道数量、交通方向、车道类型、或者路径或与路径相关联的物体的任何其他特性或特点。
如本公开中所描述的,回射制品中的结构化纹理嵌入(STE)可用于机器辨识和处理。在一些示例中,机器辨识和过程可识别不同的车辆类型。本公开的系统、制品和技术可结合结构化纹理元件的设计及其在回射材料中的辨识。本公开的系统、制品和技术可经由植入的结构化纹理元件丰富回射制品为改善其机器可读性而传达的信息。图6呈现了针对两种车辆类型的结构化纹理元件604和结构化纹理元件606与回射醒目带600的合并的示例,这两种车辆类型通常出于安全目的而需要展示回射材料。虽然可相对于醒目带描述示例,但在其他示例中,系统、制品和技术可涉及路面标记、道路标志、个人穿戴制品、建筑物、车辆或具有可包括结构化纹理元件的表面的任何其他物体。
用结构化纹理元件增强醒目带可导致改善的机器可读性。因此,这可以帮助自主车辆识别其前方的车辆的类型(例如,将拖车与卡车区分开),并且在其控制策略中采用该信息,以提高安全性。结构化纹理元件还可与包括路面标记的其他产品集成,以及有助于伪造产品识别。此类解决方案可解决汽车工业趋势中存在的问题。
结构化纹理元件可被存储在包括一个或多个结构化纹理元件的一个或多个数据存储中并且选自该一个或多个数据存储。这些结构化纹理元件可被设计和印刷以便在可见光谱和IR光谱两者中发射结构化纹理元件。图7A和图7B示出了如图7A所示的可见光谱中以及图7B中的IR光谱中的针对该任务的五个候选图案。图7A和图7B中关于该第一群组结构化纹理元件的几何形状的决定可基于与以下有关的两个考虑因素:印刷的容易性(重复图案可为更有效的解决方案)以及图案是否表现出完全不同的几何特点,该几何特点可在其数学描述中更容易印刷。
在图7A和图7B中,可选择和处理SIFT特征以评估候选结构化纹理元件和/或一组一个或多个自然环境场景之间的相异性。简而言之,SIFT特征可以是用于表征图像中的局部图案的特征。SIFT特征的吸引力可源于其尺度不变性。这样,在图像中以不同的尺度识别SIFT关键点,并且可以针对每个关键点以128元素矢量的形式计算紧凑描述。可以表征关键点附近的梯度取向的直方图的形式来计算一个或多个描述符。
在图8中,为了示出所选择的结构化纹理元件表现出彼此不同和/或与可使用结构化纹理元件的一组一个或多个自然环境场景不同的几何特点,带有结构化纹理元件的回射制品可被印刷(物理地或在模拟中)和机器读取(物理地或在模拟中)以从参考结构化纹理元件中提取关键点,并且在其他操作中在流式视频中识别这些关键点,诸如图8中所示,该流式视频识别结构化纹理元件3存在于回射制品上。在图8中,结构化纹理元件可离线预处理,并且收集与每个结构化纹理元件的不同几何特点相关联的一组参考SIFT特征。一旦针对所有目标结构化纹理元件计算了参考描述符,计算设备就可以测试流式视频的辨识能力。
图8示出了根据本公开的用于通过计算生成用于区分的结构化纹理元件的技术。在图8的示例中,计算设备134可生成一个或多个结构化纹理元件,其中结构化纹理元件的视觉外观是通过计算生成的,以与醒目带制品的自然环境场景和/或一个或多个其他结构化纹理元件的视觉外观区分开。选择部件800可被实现为一个或多个设备(诸如计算设备134)中的硬件、软件和/或硬件和软件的组合。选择部件800可包括发生器部件802和模拟器部件804,该发生器部件和该模拟器部件中的每一者可被实现为一个或多个设备(诸如计算设备134)中的硬件、软件和/或硬件和软件的组合。
在一些示例中,发生器部件802可生成或选择一个或多个结构化纹理元件。例如,结构化纹理元件和/或自然环境场景可具有视觉外观。视觉外观可为一个或多个视觉特征、特点或特性。视觉特征、特点或特性的示例可包括但不限于:形状;颜色:曲线;点;分段;图案;亮度;特定光波长光谱中的可见度;任何特征、特点或特性的大小;或任何特征、特点或特性的宽度或长度。结构化纹理元件可由机器视觉系统基于其视觉外观来识别。结构化纹理元件可由机器视觉系统基于结构化纹理元件中的一个或多个结构化纹理元件的视觉外观来与另一个不同的结构化纹理元件区分开。结构化纹理元件可由机器视觉系统基于结构化纹理元件和/或自然环境场景的视觉外观来与自然环境场景区分开。
发生器部件802可通过计算生成或选择结构化纹理元件806A-806C中的一者或多者。例如,发生器部件802可以重复图案或非重复布置方式生成或选择一个或多个特征、特点或特性。发生器部件802可应用一种或多种特征辨识技术来提取分别对应于结构化纹理元件806A-806C的关键点808A-808C。关键点可表示、对应于或识别存在于特定结构化纹理元件中的视觉特征。如此,关键点808A可由一种或多种特征辨识技术处理以确定图像包括结构化纹理元件806A。又如,关键点808B可由一种或多种特征辨识技术处理以确定图像包括结构化纹理元件806B。在一些示例中,结构化纹理元件806A-806C中的一者或多者和/或存在于结构化纹理元件中的视觉特征可选自结构化纹理元件和/或视觉特征的预先存在的数据集,而不是由发生器部件802生成。
模拟器部件804可模拟一个或多个结构化纹理元件和/或包括一个或多个结构化纹理元件的自然场景的特征辨识技术。例如,输入视频帧810可为包括结构化纹理元件806A的一组图像。模拟器部件804可使用特征辨识技术处理图像中的一个或多个图像,以确定图像包括一组关键点812。关键点812可包括对应于结构化纹理元件808A的关键点的子集。关键点812可包括分别对应于结构化纹理元件808B和结构化纹理元件808C的关键点的其他子集。推断部件814可应用一种或多种技术以基于关键点812来确定哪些结构化纹理元件(如果有的话)存在于图像或一组图像中。此类技术可包括:确定关键点的哪个子集具有对应于或匹配特定结构化纹理元件的关键点的最高关键点数量,确定哪个子集具有对应于或匹配特定结构化纹理元件的关键点的最高关键点概率,或者用于确定特定结构化纹理元件对应于所提取的关键点812的任何其他合适的选择技术。推断部件814可使用选择技术来输出指示对应于关键点812中的一个或多个关键点的结构化纹理元件的标识符或其他数据。
为了通过计算生成结构化纹理元件以与自然环境场景和/或其他结构化纹理元件的视觉外观区分开,发生器部件802可生成或选择一个或多个结构化纹理元件。模拟器部件804可将特征辨识技术(诸如关键点提取或其他合适的技术)应用于输入视频帧810的图像。基于匹配特定结构化纹理元件的关键点的置信度水平或量,模拟器部件804可将该特定结构化纹理元件与(a)包括该特定结构化纹理元件的自然场景和/或(b)一个或多个其他结构化纹理元件中的一者或多者之间的区分程度的得分或其他指示符相关联。这样,模拟器部件804可接收多个不同的结构化纹理元件并且模拟哪些结构化纹理元件将更容易与自然场景和/或其他结构化纹理元件区分开。在一些示例中,所需区分的阈值可由用户和/或计算设备配置。满足阈值的特定结构化纹理元件(例如,特定结构化纹理元件与自然场景和/或其他结构化纹理元件区分开的程度大于或等于阈值)可由模拟器部件804选择。在一些示例中,特定结构化纹理元件与(a)包括特定结构化纹理元件的自然场景和/或(b)一个或多个其他结构化纹理元件之间的区分可基于特定结构化纹理元件与(a)包括特定结构化纹理元件的自然场景和/或(b)一个或多个其他结构化纹理元件之间的视觉相似性或视觉差异的程度。视觉相似性的程度可基于像素值的差异、图像内的块或其他合适的图像比较技术。在一些示例中,输入视频帧810可包括一个或多个实际物理自然场景中的一个或多个实际物理结构化纹理元件的图像。在其他示例中,输入视频帧810可包括一个或多个模拟自然场景中的一个或多个模拟结构化纹理元件的图像。在又一些其他示例中,模拟器部件804可使用模拟的和/或实际物理的结构化纹理元件和自然场景的组合。
在一些示例中,推断部件814可将反馈数据提供给发生器部件802和/或模拟器部件804中的一者或多者。反馈数据可包括但不限于:指示特定结构化纹理元件是否满足区分阈值的数据、特定结构化纹理元件的区分程度,特定结构化纹理元件的标识符、自然场景的标识符、另一结构化纹理元件的标识符,或能够由发生器部件802和/或模拟器部件804用来生成一个或多个结构化纹理元件的任何其他信息。发生器部件802可使用来自推断部件814的反馈数据来改变一个或多个新的结构化纹理元件的视觉外观以模拟所生成的视觉外观,使得该一个或多个新的结构化纹理元件与其他先前模拟的结构化纹理元件具有更大的可区分性。发生器部件802可使用反馈数据来更改一个或多个新的结构化纹理元件的视觉外观,使得新的结构化纹理元件与先前模拟的结构化纹理元件之间的视觉差异增加。这样,可生成与自然场景和/或其他结构化纹理元件具有更大量或更大程度的视觉区分的结构化纹理元件。
图9A至图9B呈现了由计算设备(诸如计算设备116和/或计算设备134)执行的验证的样本输出。目标结构化纹理元件可在图9A中看见,其中线表示视频帧中的结构化纹理元件与目标结构化纹理元件之间的关键点(以蓝色圆示出)的匹配。相比之下,当在图9B中显示替代结构化纹理元件而不是目标结构化纹理元件时,未识别出对应关系。应当注意,虽然一些技术可基于SIFT特征匹配,但本公开的技术可适应不同的方法,诸如在以下文章中描述的FV-CNN:2015年,Cimpoi,M.、Maji,S.和Vedaldi,A在IEEE计算机视觉与模式识别会议的会议记录(第3828-3836页)中发布的“用于纹理辨识和分割的深层滤波器组(Deepfilter banks for texture recognition and segmentation.)”,其全部内容分别据此全文以引用方式并入。在车辆类型辨识的情况下,在白天和黑夜照明条件下,结构化纹理元件均可嵌入回射材料中。此外,所提出的方案不仅可以区分不同类型的车辆,而且还可以帮助他们从其背景中辨识,表明他们存在。
本公开的技术还可实现或利用如在以下文件中描述的系统、制品和技术:于2017年9月27日提交的PCT/US2017/053632和于2018年2月18日提交的PCT/US2018/018642,其全部内容分别据此全文以引用方式并入。在一些示例中,系统可包括光捕获设备和包括结构化纹理元件(STE)的回射制品。在一些示例中,结构化纹理元件对应于特定标识符,该特定标识符基于结构化纹理元件中能够通过单个回射特性识别的视觉特征的独特布置。在一些示例中,计算设备通信地耦接到光捕获设备,其中计算设备被配置为从光捕获设备接收指示至少单个回射特性的回射光。计算设备可至少部分地基于单个回射特性来确定对应于结构化纹理元件中的特征的独特布置的特定标识符。计算设备可至少部分地基于特定标识符来执行至少一个操作。在本公开中描述了各种操作。
路面标记(例如,油漆、带和单独安装的制品)可引导和指导沿着道路和路径行进的自主车辆或计算机辅助车辆、汽车驾驶员和行人。例如,路面标记可在公路、高速公路、停车场和憩步道上使用,以形成条纹、条带和标记,从而描画出车道、人行横道、停车位、符号、图例等等。
道路上的路面标记变型可提供关于交通模式和周围基础结构的信息。这些变型可包括路面标记之间的间距、路面标记相对于基础结构的设置、路面标记的大小和路面标记的颜色。例如,洲际公路上的路面标记的间距和大小可区分出仅出口车道。如果路面标记可提供关于交通模式和周围基础结构的附加信息,则对于联网和自动化车辆而言可能是有益的。
在一个示例中,本公开的系统、制品和技术涉及带有结构化纹理嵌入的路面标记,其中纹理在路面标记的至少一部分上重复,并且其中纹理与至少一个交通模式或基础结构特征相关联。安装在停车场中的带有结构化纹理嵌入的路面标记可具有与停车位相关联的纹理。
醒目带可增加运输基础结构上专用车辆的可见度,以帮助车辆的安全导航,尤其是在黑暗和不利导航条件下。例如,醒目带可在应急车辆、校车、卡车、拖车、机动轨道车、商用车辆上使用,以勾勒车辆的形状、车辆的取向、独特的车辆特征或车辆的占位面积。来自放置在专用车辆上的醒目带的关于运输基础结构上的这些专用车辆的附加信息可帮助进一步实现安全的车辆导航。
在一些示例中,本公开的系统、制品和技术涉及带有一个或多个光学活性层和结构化纹理嵌入的醒目带,其中纹理沿醒目带的长度至少周期性地重复。光学活性层可包括棱柱回射片材或珠状回射片材。纹理可通过图案变化来创建,包括回射和非回射特性(包括强度、波长和相特性)的变化。
在一些示例中,带有结构化纹理嵌入的醒目带具有与特定专用车辆相关联的纹理,其中相机系统可读取醒目带纹理并且将该纹理与可用于帮助安全车辆导航的一类车辆信息相关联。在一个示例中,车辆接近带有嵌入结构纹理的醒目带的专用车辆。车辆读取醒目带的纹理并且确定其为纹理类型A。基于查找表,纹理A与具有一系列预期车辆长度的标准人类操作卡车和拖车相关联。在另一个示例中,车辆接近带有嵌入结构纹理的醒目带的专用车辆。车辆可读取纹理并且确定其为纹理类型B。基于查找表,纹理B与在紧密车队中操作的自主卡车和拖车相关联。由纹理A和纹理B提供的信息的差异可影响车辆在专用车辆周围导航的方式。
图10是示出了根据本公开的可体现在带有结构化纹理元件的制品上的不同图案的框图。图10示出了如先前在图3中所描述的路径制品300。出于在图10中说明的目的,还识别了回射片材304,并且还可以在路径制品300中包括其他层。出于示例性目的,路径制品300是醒目带的一部分,但在其他示例中,路径制品300可以是任何路径制品。
在一些示例中,路径制品300可包括一组一个或多个图案。在一些示例中,一个或多个图案中的每个图案可在回射片材304上共存和/或共延。在一些示例中,一个或多个图案可在第一光谱中可见,而一个或多个其他图案可在不同于第一光谱的第二光谱中可见。每个图案可具有不同或相同的颜色和/或亮度。回射制品304不需要包括图10所示的所有经体现的图案,并且在一些示例中,可以包括图10所示的所有经体现的图案的子集。在一些示例中,回射制品304可包括图10所示的所有经体现的图案的超集。
例如,路径制品300可以包括第一经体现的图案1002。经体现的图案1002可通过密封回射片材304的某些部分来创建。图10示出了形成密封区域1006的周界的密封接缝1004。在一些示例中,密封区域1006包括密封空间,该密封空间可包含空气(有效地为气隙或气穴)或其他材料。如图10所示,经体现的图案1002可包括一组密封区域,该组密封区域由以重复图案重现的密封接缝创建。出于说明的目的,经体现的图案1002仅被示出在回射片材304的一部分上,但在其他示例中,经体现的图案1002可遮盖回射片材304的整个区域或回射片材304的某些限定区域。在一些示例中,由图10中的密封接缝表示的周界可被印刷,而不是被物理地创建为创建密封空间的接缝。换言之,经体现的图案1002可被印刷在回射片材304上,而不会创建包封填充有空气或其他材料的密封区域的物理接缝。
如图10所示,回射片材304可包括第二经体现的图案108。经体现的图案108可包括图案区域1010A-1010C。在图10中,图案区域1010A、图案区域1010C可以是第一颜色(例如,红色)或第一设计,而图案区域1010B可以是第二颜色(例如,白色)或第二设计。第一颜色和/或设计可不同于第二颜色和/或设计,如图10所示。在其他示例中,经体现的图案108可以是纯色或纯色设计。出于说明的目的,经体现的图案1002被示出为遮盖回射片材304的整个区域,但在其他示例中,经体现的图案1002可遮盖回射片材304的某些限定区域。
回射片材304可包括第三经体现的图案1012。经体现的图案1012可以是如根据本公开的技术所描述的结构化纹理嵌入。经体现的图案1012可在回射片材304上与经体现的图案1008和/或1002中的一者或多者共存和/或共延。出于说明的目的,经体现的图案1012仅被示出在图案区域1010B内的回射片材304的一部分上,但在其他示例中,经体现的图案1012可遮盖回射片材304的整个区域或回射片材304的某些限定区域。
尽管图10的示例已被描述为使得图案1002、图案1008和/或图案1012被印刷、形成或以其他方式体现在回射片材304上,但在一些示例中,图案中的一个或多个图案可以被印刷、形成或以其他方式体现在路径制品300的其他层或不同层上。
在一个或多个示例中,所述的功能可以硬件、软件、固件或它们的任何组合来实现。如果以软件实现,则这些功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输,且由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质,其对应于诸如数据存储介质的有形介质,或通信介质,其包括例如根据通信协议促进将计算机程序从一处传送到另一处的任何介质。以该方式,计算机可读介质通常可对应于(1)非暂态的有形计算机可读存储介质或(2)通信介质,诸如如信号或载波。数据存储介质可为可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包括计算机可读介质。
作为示例而非限制,此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪存或者可用来以指令或数据结构的形式存储期望的程序代码并且可由计算机访问的任何其他介质。而且,任何连接均被适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术如红外线、无线电和微波从网站、服务器或其他远程源传输指令,则同轴电缆、光纤电缆、双绞线、DSL或无线技术如红外线、无线电和微波包括在介质的定义中。然而,应当理解,计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质,而是针对非暂态的有形存储介质。所使用的磁盘和光盘包括压缩盘(CD)、激光光盘、光学盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁的方式再现数据,而光盘通过激光以光学方式再现数据。上述的组合也应当包括在计算机可读介质的范围内。
指令可由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行。因此,所使用的术语“处理器”可指任何前述结构或适用于实现所描述的技术的任何其他结构。此外,在一些方面,所描述的功能性可在专用硬件和/或软件模块内提供。而且,这些技术可完全在一个或多个电路或逻辑单元中实现。
本公开的技术可在包括无线手持机、集成电路(IC)或一组IC(例如,芯片集)的各种各样的设备或装置中实现。各种部件、模块或单元在本公开中进行了描述以强调被构造为执行所公开的技术的设备的功能方面,但是不一定需要通过不同的硬件单元来实现。相反,如上所述,各种单元组合可在硬件单元中组合或者通过包括如上所述的一个或多个处理器的互操作硬件单元的集合,结合合适的软件和/或固件来提供。
应当认识到,根据该示例,本文所述方法中的任一种的某些动作或事件可以不同的顺序实行,可一起添加、合并或省去(例如,不是所有所描述动作或事件对于方法的实践都是必需的)。此外,在某些示例中,动作或事件可例如通过多线程处理、中断处理或多个处理器同时而不是顺序地执行。
在一些示例中,计算机可读存储介质包括非暂态介质。在一些示例中,术语“非暂态”指示存储介质没有在载波或传播信号中体现。在某些示例中,非暂态存储介质存储可随时间改变的数据(例如,在RAM或高速缓存中)。
已经描述了本公开的各种示例。这些示例以及其他示例均在如下权利要求书的范围内。
Claims (41)
1.一种系统,包括:
光捕获设备;
计算设备,所述计算设备通信地耦接到所述光捕获设备,其中所述计算设备被配置为:
从所述光捕获设备接收指示被体现在醒目带制品上的结构化纹理元件(STE)的光,其中所述结构化纹理元件的视觉外观是通过计算生成的,以与所述醒目带制品的自然环境场景的视觉外观区分开;
确定对应于所述结构化纹理元件中的特征布置的信息;以及
至少部分地基于对应于所述结构化纹理元件中的所述特征布置的所述信息来执行至少一个操作。
2.根据权利要求1所述的系统,其中所述信息指示车辆车队中的车辆。
3.根据权利要求1至2中任一项所述的系统,其中为了执行至少部分地基于对应于所述结构化纹理元件中的所述特征布置的所述信息的至少一个操作,所述计算设备被配置为为包括所述计算设备的车辆选择自主驾驶水平。
4.根据权利要求1至3中任一项所述的系统,其中所述制品包括至少一种回射特性。
5.根据权利要求1至4中任一项所述的系统,其中回射光为红外光谱、紫外光谱或可见光谱中的至少一者中的光。
6.根据权利要求1至5中任一项所述的系统,其中所述计算设备被配置为:
从基于所述回射光生成的图像中识别一组一个或多个检测元件;以及
确定所述一个或多个检测元件对应于所述信息。
7.根据权利要求1至6中任一项所述的系统,其中所述一个或多个检测元件包括一个或多个SIFT特征。
8.根据权利要求1至7中任一项所述的系统,其中所述结构化纹理元件是第一结构化纹理元件,其中所述第一结构化纹理元件是通过计算生成的,以与第二结构化纹理元件区分开。
9.根据权利要求1至8中任一项所述的系统,其中所述第一结构化纹理元件是通过计算生成的,以与所述第二结构化纹理元件区分开,从而满足阈值区分量。
10.根据权利要求1至9中任一项所述的系统,其中所述阈值区分量是最大区分量。
11.根据权利要求1至10中任一项所述的系统,其中为了执行至少部分地基于对应于所述结构化纹理元件中的所述特征布置的所述信息的至少一个操作,所述计算设备被配置为改变与所述光捕获设备相关联的车辆的操作。
12.根据权利要求1至11中任一项所述的系统,其中所述车辆的所述操作包括以下项中的至少一者:生成视觉、可听或触觉输出;执行制动功能;执行加速功能;执行转弯功能;发送或接收车辆到车辆、车辆到基础结构或车辆到行人的通信。
13.根据权利要求1至12中任一项所述的系统,其中为了确定对应于所述结构化纹理元件中的特征布置的信息,所述计算设备被配置为:
将表示所述结构化纹理元件的所述视觉外观的图像数据应用于模型;以及
至少部分地基于将所述图像数据应用于所述模型来生成指示所述结构化纹理元件的信息。
14.根据权利要求1至13中任一项所述的系统,其中模型已至少部分地基于包括所述结构化纹理元件的一个或多个训练图像来进行训练。
15.根据权利要求1至14中任一项所述的系统,其中模型包括基于监督、半监督或无监督技术中的至少一者配置的模型。
16.一种计算设备,所述计算设备被配置为执行根据权利要求1至15所述的操作中的任一个操作。
17.一种醒目带制品,包括:
回射基板;和
结构化纹理元件(STE),所述结构化纹理元件(STE)体现在所述回射基板上,其中所述结构化纹理元件的视觉外观是通过计算生成的,以与所述醒目带制品的自然环境场景的视觉外观区分开。
18.根据权利要求17所述的醒目带制品,其中所述结构化纹理元件是第一结构化纹理元件,其中所述第一结构化纹理元件是通过计算生成的,以与第二结构化纹理元件区分开。
19.根据权利要求17至18中任一项所述的醒目带制品,其中所述第一结构化纹理元件和所述第二结构化纹理元件被包括在一组结构化纹理元件中,并且所述一组结构化纹理元件中包括的每个相应结构化纹理元件是通过计算生成的,以与所述一组结构化纹理元件中的每个其他结构化纹理元件区分开。
20.根据权利要求17至19中任一项所述的醒目带制品,其中在所述一组结构化纹理元件中包括的每个相应结构化纹理元件是通过计算生成的,以与所述醒目带制品的所述自然环境场景和所述一组结构化纹理元件中的每个其他结构化纹理元件区分开。
21.根据权利要求17至20中任一项所述的醒目带制品,其中所述第一结构化纹理元件是通过计算生成的,以与第二结构化纹理元件区分开,从而满足阈值区分量。
22.根据权利要求17至21中任一项所述的醒目带制品,其中所述阈值区分量是最大区分量。
23.根据权利要求17至22中任一项所述的醒目带制品,其中所述最大区分量是所述第一结构化纹理元件的所述视觉外观与所述第二结构化纹理元件的所述视觉外观之间的最大相异量。
24.根据权利要求17至23中任一项所述的醒目带制品,其中所述第一结构化纹理元件是通过计算生成的,以由第一图像产生第一组检测元件,并且所述第二结构化纹理元件是通过计算生成的,以由第二图像产生第二组检测元件,并且其中所述第一结构化纹理元件和所述第二结构化纹理元件是通过计算生成的,以将所述第一组检测元件与所述第二组检测元件区分开。
25.根据权利要求17至24中任一项所述的醒目带制品,其中所述第一组检测元件是通过计算生成的,以与所述第二组检测元件区分开,从而满足阈值区分量。
26.根据权利要求17至25中任一项所述的醒目带制品,其中所述阈值区分量是最大区分量。
27.根据权利要求17至26中任一项所述的醒目带制品,其中所述结构化纹理元件是第一图案,并且其中所述醒目带制品包括作为密封图案的第二图案,其中所述密封图案限定所述醒目带制品的一个或多个密封区域。
28.根据权利要求17至27中任一项所述的醒目带制品,其中所述结构化纹理元件是第一图案,并且其中所述醒目带制品包括不同于所述第一图案的第二图案,所述第二图案是回射基板上的一种或多种油墨的印刷图案。
29.根据权利要求17至28中任一项所述的醒目带制品,其中所述一种或多种油墨的印刷图案是纯色图案。
30.根据权利要求17至29中任一项所述的醒目带制品,其中所述结构化纹理元件在约350nm至750nm的光谱范围内是可见的。
31.根据权利要求17至30中任一项所述的醒目带制品,其中所述结构化纹理元件在约350nm至750nm之外的至少一个光谱范围内是可见的。
32.根据权利要求17至31中任一项所述的醒目带制品,其中所述结构化纹理元件在约700nm至1100nm的光谱范围内是可见的。
33.根据权利要求17至32中任一项所述的醒目带制品,其中所述结构化纹理元件在大于1100nm的光谱范围内是可见的。
34.根据权利要求17至33中任一项所述的醒目带制品,其中所述结构化纹理元件能够配置有描述对应于所述醒目带制品的物体的信息。
35.根据权利要求17至34中任一项所述的醒目带制品,其中描述所述物体的所述信息指示车辆车队中的物体。
36.根据权利要求17至35中任一项所述的醒目带制品,其中描述所述物体的所述信息指示自主车辆。
37.根据权利要求17至36中任一项所述的醒目带制品,其中描述所述物体的所述信息指示被配置用于自主车辆的信息。
38.根据权利要求17至37中任一项所述的醒目带制品,其中描述所述物体的所述信息指示所述物体的大小或类型中的至少一者。
39.根据权利要求17至38中任一项所述的醒目带制品,其中所述物体是车辆或与所述车辆相关联的第二物体中的至少一者。
40.根据权利要求17至39中任一项所述的醒目带制品,其中描述所述物体的所述信息包括与所述物体相关联的标识符。
41.根据权利要求17至40中任一项所述的醒目带制品,其中所述醒目带制品附接到对应于所述醒目带制品的所述物体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862719269P | 2018-08-17 | 2018-08-17 | |
US62/719,269 | 2018-08-17 | ||
PCT/US2019/046856 WO2020037229A1 (en) | 2018-08-17 | 2019-08-16 | Structured texture embeddings in pathway articles for machine recognition |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112602089A true CN112602089A (zh) | 2021-04-02 |
Family
ID=67841176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980054426.6A Withdrawn CN112602089A (zh) | 2018-08-17 | 2019-08-16 | 用于机器辨识的路径制品中的结构化纹理嵌入 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210295059A1 (zh) |
EP (1) | EP3837631A1 (zh) |
CN (1) | CN112602089A (zh) |
WO (1) | WO2020037229A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114078126A (zh) * | 2022-01-19 | 2022-02-22 | 江苏金恒信息科技股份有限公司 | 一种基于机器学习的废钢评级方法及装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1589455A (zh) * | 2001-09-21 | 2005-03-02 | Ovd基尼格拉姆股份公司 | 具有衍射条型码的标签和用于这种标签的读解设备 |
US20080000976A1 (en) * | 2006-06-30 | 2008-01-03 | Fred Charles Thomas | Passive electro-optical identification |
EP1975650A1 (en) * | 2006-01-17 | 2008-10-01 | Shiseido Company, Limited | Laminated material with information recorded thereon, article comprising said laminated material applied thereto, information reading method, and information reading apparatus |
CN102265658A (zh) * | 2008-10-28 | 2011-11-30 | 劳国华 | 具有光学隐式不可见通用产品代码的防伪标签以及使用移动电话的在线验证系统 |
CN103247168A (zh) * | 2012-02-14 | 2013-08-14 | 江彦宏 | 使用视讯雷达的远距交通管理系统 |
US20150254986A1 (en) * | 2014-03-04 | 2015-09-10 | Google Inc. | Reporting Road Event Data and Sharing with Other Vehicles |
US9234618B1 (en) * | 2012-09-27 | 2016-01-12 | Google Inc. | Characterizing optically reflective features via hyper-spectral sensor |
CN205665721U (zh) * | 2015-04-02 | 2016-10-26 | 艾克尼特有限公司 | 呈现机器可读视觉表示的标签 |
US20170169301A1 (en) * | 2015-12-14 | 2017-06-15 | Magna Electronics Inc. | Vehicle vision system using reflective vehicle tags |
CN107223332A (zh) * | 2015-03-19 | 2017-09-29 | 英特尔公司 | 基于声学相机的音频视觉场景分析 |
WO2017173017A1 (en) * | 2016-04-01 | 2017-10-05 | 3M Innovative Properties Company | Counterfeit detection of traffic materials using images captured under multiple, different lighting conditions |
US20170373753A1 (en) * | 2015-02-10 | 2017-12-28 | Amir Darabi | System and Method for Providing Optically Coded Information |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0101646B1 (en) | 1982-08-20 | 1988-02-17 | Minnesota Mining And Manufacturing Company | Photographic elements incorporating antihalation and/or acutance dyes |
IE902400A1 (en) | 1989-08-03 | 1991-02-13 | Minnesota Mining & Mfg | Retroreflective vehicle identififcation articles having¹improved machine legibility |
DE69723454T2 (de) | 1996-10-23 | 2004-05-13 | Minnesota Mining And Manufacturing Co., Saint Paul | Gegenstand umfassend eine retroreflektierende folie |
US7068434B2 (en) | 2000-02-22 | 2006-06-27 | 3M Innovative Properties Company | Sheeting with composite image that floats |
US7156527B2 (en) | 2003-03-06 | 2007-01-02 | 3M Innovative Properties Company | Lamina comprising cube corner elements and retroreflective sheeting |
US7068464B2 (en) | 2003-03-21 | 2006-06-27 | Storage Technology Corporation | Double sided magnetic tape |
US7387393B2 (en) | 2005-12-19 | 2008-06-17 | Palo Alto Research Center Incorporated | Methods for producing low-visibility retroreflective visual tags |
US7611251B2 (en) | 2006-04-18 | 2009-11-03 | 3M Innovative Properties Company | Retroreflective articles comprising olefinic seal films |
US8865293B2 (en) | 2008-12-15 | 2014-10-21 | 3M Innovative Properties Company | Optically active materials and articles and systems in which they may be used |
WO2011060081A1 (en) | 2009-11-12 | 2011-05-19 | 3M Innovative Properties Company | Security markings in retroreflective sheeting |
JP6046605B2 (ja) | 2010-04-15 | 2016-12-21 | スリーエム イノベイティブ プロパティズ カンパニー | 再帰反射性物品を形成する方法 |
KR20130092396A (ko) | 2010-04-15 | 2013-08-20 | 쓰리엠 이노베이티브 프로퍼티즈 캄파니 | 광학적 활성 영역 및 광학적 불활성 영역을 포함하는 재귀반사성 물품 |
CN102918430B (zh) | 2010-06-01 | 2016-08-24 | 3M创新有限公司 | 多层密封膜 |
US20120240485A1 (en) | 2011-03-24 | 2012-09-27 | Amarasinghe Disamodha C | Panel construction system |
WO2012166447A2 (en) | 2011-05-31 | 2012-12-06 | 3M Innovative Properties Company | Cube corner sheeting having optically variable marking |
US9823394B2 (en) | 2011-09-23 | 2017-11-21 | 3M Innovative Properties Company | Retroreflective articles including a security mark |
CN103827700B (zh) | 2011-09-23 | 2017-06-13 | 3M创新有限公司 | 包括安全标记的逆向反射制品 |
US20170177963A1 (en) | 2014-03-25 | 2017-06-22 | 3M Innovative Properties Company | Articles capable of use in alpr systems |
-
2019
- 2019-08-16 WO PCT/US2019/046856 patent/WO2020037229A1/en unknown
- 2019-08-16 US US17/267,359 patent/US20210295059A1/en active Pending
- 2019-08-16 EP EP19762539.5A patent/EP3837631A1/en not_active Withdrawn
- 2019-08-16 CN CN201980054426.6A patent/CN112602089A/zh not_active Withdrawn
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1589455A (zh) * | 2001-09-21 | 2005-03-02 | Ovd基尼格拉姆股份公司 | 具有衍射条型码的标签和用于这种标签的读解设备 |
EP1975650A1 (en) * | 2006-01-17 | 2008-10-01 | Shiseido Company, Limited | Laminated material with information recorded thereon, article comprising said laminated material applied thereto, information reading method, and information reading apparatus |
US20080000976A1 (en) * | 2006-06-30 | 2008-01-03 | Fred Charles Thomas | Passive electro-optical identification |
CN102265658A (zh) * | 2008-10-28 | 2011-11-30 | 劳国华 | 具有光学隐式不可见通用产品代码的防伪标签以及使用移动电话的在线验证系统 |
CN103247168A (zh) * | 2012-02-14 | 2013-08-14 | 江彦宏 | 使用视讯雷达的远距交通管理系统 |
US9234618B1 (en) * | 2012-09-27 | 2016-01-12 | Google Inc. | Characterizing optically reflective features via hyper-spectral sensor |
US20150254986A1 (en) * | 2014-03-04 | 2015-09-10 | Google Inc. | Reporting Road Event Data and Sharing with Other Vehicles |
US20170373753A1 (en) * | 2015-02-10 | 2017-12-28 | Amir Darabi | System and Method for Providing Optically Coded Information |
CN107223332A (zh) * | 2015-03-19 | 2017-09-29 | 英特尔公司 | 基于声学相机的音频视觉场景分析 |
CN205665721U (zh) * | 2015-04-02 | 2016-10-26 | 艾克尼特有限公司 | 呈现机器可读视觉表示的标签 |
US20170169301A1 (en) * | 2015-12-14 | 2017-06-15 | Magna Electronics Inc. | Vehicle vision system using reflective vehicle tags |
WO2017173017A1 (en) * | 2016-04-01 | 2017-10-05 | 3M Innovative Properties Company | Counterfeit detection of traffic materials using images captured under multiple, different lighting conditions |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114078126A (zh) * | 2022-01-19 | 2022-02-22 | 江苏金恒信息科技股份有限公司 | 一种基于机器学习的废钢评级方法及装置 |
CN114078126B (zh) * | 2022-01-19 | 2022-04-26 | 江苏金恒信息科技股份有限公司 | 一种基于机器学习的废钢评级方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210295059A1 (en) | 2021-09-23 |
WO2020037229A1 (en) | 2020-02-20 |
EP3837631A1 (en) | 2021-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11138880B2 (en) | Vehicle-sourced infrastructure quality metrics | |
US10043091B2 (en) | Vehicle vision system with retroreflector pattern recognition | |
CN109584578B (zh) | 用于识别行驶车道的方法和装置 | |
US9665802B2 (en) | Object-centric fine-grained image classification | |
US20210039669A1 (en) | Validating vehicle operation using pathway articles | |
Wu et al. | Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement | |
US20210221389A1 (en) | System and method for autonomous vehicle sensor measurement and policy determination | |
US20210247199A1 (en) | Autonomous navigation systems for temporary zones | |
KR20190133039A (ko) | 상황 인지 표지판 시스템 | |
US11514659B2 (en) | Hyperspectral optical patterns on retroreflective articles | |
WO2019156916A1 (en) | Validating vehicle operation using pathway articles and blockchain | |
US11676401B2 (en) | Multi-distance information processing using retroreflected light properties | |
CN112602089A (zh) | 用于机器辨识的路径制品中的结构化纹理嵌入 | |
US20220404160A1 (en) | Route selection using infrastructure performance | |
US20220324454A1 (en) | Predicting roadway infrastructure performance | |
WO2019156915A1 (en) | Validating vehicle operation using acoustic pathway articles | |
Shahbaz et al. | The Evaluation of Cascade Object Detector in Recognizing Different Samples of Road Signs | |
US20210215498A1 (en) | Infrastructure articles with differentiated service access using pathway article codes and on-vehicle credentials | |
Pascual et al. | Advanced driver assistance system based on computer vision using detection, recognition and tracking of road signs | |
Hallmark et al. | Short Term Future Proofing Strategies for Local Agencies to Prepare for Connected and Automated Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210402 |